WO2019176655A1 - 学習装置、学習方法、及びそのプログラム - Google Patents

学習装置、学習方法、及びそのプログラム Download PDF

Info

Publication number
WO2019176655A1
WO2019176655A1 PCT/JP2019/008649 JP2019008649W WO2019176655A1 WO 2019176655 A1 WO2019176655 A1 WO 2019176655A1 JP 2019008649 W JP2019008649 W JP 2019008649W WO 2019176655 A1 WO2019176655 A1 WO 2019176655A1
Authority
WO
WIPO (PCT)
Prior art keywords
learning
correction amount
control
learned model
command value
Prior art date
Application number
PCT/JP2019/008649
Other languages
English (en)
French (fr)
Inventor
高史 藤井
勇樹 上山
泰明 阿部
信幸 阪谷
和彦 今竹
Original Assignee
オムロン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by オムロン株式会社 filed Critical オムロン株式会社
Priority to CN201980011798.0A priority Critical patent/CN111684366B/zh
Priority to US16/968,606 priority patent/US20200372413A1/en
Priority to EP19768295.8A priority patent/EP3767401A4/en
Publication of WO2019176655A1 publication Critical patent/WO2019176655A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/04—Physical realisation
    • G06N7/046—Implementation by means of a neural network
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J15/00—Gripping heads and other end effectors
    • B25J15/02—Gripping heads and other end effectors servo-actuated
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/02—Computing arrangements based on specific mathematical models using fuzzy logic
    • G06N7/04—Physical realisation
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/33—Director till display
    • G05B2219/33034—Online learning, training
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/34—Director, elements to supervisory
    • G05B2219/34082—Learning, online reinforcement learning
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/39—Robotics, robotics to robotics hand
    • G05B2219/39284—NSC neural servo controller

Definitions

  • the present invention relates to a learning device, a learning method, and a program thereof.
  • Patent Document 1 discloses a press system capable of reducing the influence of variations in plate thickness when manufacturing a press-processed product.
  • the press system of Patent Document 1 includes a press machine and a supply device that supplies a work to the press machine, and obtains plate thickness information of the work before pressing by the press machine, Die height setting means for setting the die height (H) of the press machine based on the board thickness information from the board thickness obtaining means.
  • the appropriate value of the control amount such as die height is not limited to the plate thickness, but the hardness and temperature of the processing object, It may be affected by various parameters related to the processing object such as material. It takes an enormous amount of time to adjust the correction amount for obtaining an appropriate control amount by actually performing trial and error several times with an actual machine for all combinations of such various parameters.
  • the present invention provides a technique for efficiently learning an appropriate correction amount for generating a command value to be given to a control target in predictive control of a control system that performs processing such as processing and assembly on the processing target.
  • the purpose is to provide.
  • a learning device is a controller that outputs a command value obtained by correcting a target value based on a correction amount, and a control object that is controlled to perform a predetermined process on a processing object. And a control object that receives a command value output from the controller and outputs a control amount as a response to the command value.
  • a learning device that provides a learned model for an adjuster including a learned model that has been learned to output a correction amount, and corrects based on operation data including a target value, a command value, and a control amount.
  • the learning unit can generate a correction amount candidate without generating a dynamic characteristic model to be controlled and generate teacher data by using a data drive control method such as VRFT, FRIT, or ERIT. It becomes possible.
  • the learning device can generate a correction amount candidate without repeatedly performing the actual operation of the control target. As a result, the learning device can perform learning more efficiently without preparing or damaging the processing object.
  • the learning unit when the generated correction amount candidate is not a value that is a predetermined threshold or more away from the correction amount candidate included in the teacher data used for learning by the learned model, or the learned model used for learning
  • the correction amount candidate may be adopted when it is within the range of the correction amount candidate included in the teacher data.
  • an evaluation unit that obtains operation data including the control amount when the command value obtained by correcting the target value based on the correction amount output by the learned model is given to the control target, and evaluates the quality of the control amount.
  • the learning unit may be configured to perform learning when the quality evaluation is less than the allowable range.
  • the learning unit may be configured to perform learning when a specific parameter of the processing object is a value that is a predetermined threshold or more away from a parameter that has already been learned as teacher data. Thereby, it is possible to prevent the learning unit from performing unnecessary learning on the processing target that can be handled by the current learned model.
  • a learning method includes a controller that outputs a command value obtained by correcting a target value based on a correction amount, and a control object that is controlled to perform a predetermined process on the processing object. And a control object that receives a command value output from the controller and outputs a control amount as a response to the command value.
  • a correction amount candidate is generated based on the operation data including the amount, and when the correction amount candidate satisfies a predetermined adoption criterion, the generated correction amount candidate and a specific parameter of the processing object are Learns as teacher data, to perform the steps of generating or updating the learned model, the generated or updated learned model, and providing to the regulator, the.
  • a program includes a controller that outputs a command value obtained by correcting a target value based on a correction amount, and a control target that is controlled to perform a predetermined process on a processing target. And a control target to which a control amount is output as a response to the command value, a predetermined correction is made to the controller based on a specific parameter of the processing object.
  • a correction amount candidate is generated, and when the correction amount candidate satisfies a predetermined adoption standard, the generated correction amount candidate and a specific parameter of the processing object are taught.
  • a technique for efficiently learning an appropriate correction amount for generating a command value to be given to a control target in predictive control of a control system that performs processing such as processing and assembly on the processing target can be provided.
  • this embodiment an embodiment according to an aspect of the present invention (hereinafter also referred to as “this embodiment”) will be described with reference to the drawings.
  • the embodiments described below are merely examples of the present invention in all respects. It goes without saying that various improvements and modifications can be made without departing from the scope of the present invention. That is, in implementing the present invention, a specific configuration according to the embodiment may be adopted as appropriate.
  • data appearing in this embodiment is described in a natural language, more specifically, it is specified by a pseudo language, a command, a parameter, a machine language, or the like that can be recognized by a computer.
  • FIG. 1 is a diagram showing an example of the configuration of a control system 1 according to the present invention.
  • the control system 1 includes a controller 10, a servo mechanism 20, an adjuster 30, and a learning device 40.
  • the controller 10 generates a command value u (t) obtained by correcting the target value r (t) based on the correction amount ⁇ output from the adjuster 30 and outputs the command value u (t) to the servo mechanism 20.
  • the target value r (t) may be generated by the controller 10 (including using the stored target value), or may be given to the controller 10 from the outside.
  • the controller 10 generates the command value u by performing the calculation shown in the following equation (1).
  • ⁇ Controller calculation formula> u (t) C ( ⁇ ) ⁇ r (t) (1)
  • the servo mechanism 20 is controlled by the controller 10 so as to perform predetermined processing on a processing target (hereinafter also referred to as “work”).
  • the servo mechanism 20 is given a command value u (t) from the controller 10 and outputs a control amount y (t) as a response to the input value.
  • the servo mechanism 20 shows an example of a press machine that presses a workpiece with a predetermined amount of pressure, but is not limited thereto.
  • the servo mechanism 20 is an example of the “control target” in the present invention.
  • the adjuster 30 outputs the correction amount ⁇ given to the controller 10.
  • the adjuster 30 has a learned model learned so that an appropriate correction amount is output based on a specific parameter among parameters of the workpiece.
  • the thickness of the workpiece may be a specific parameter.
  • This learned model may be provided from the learning device 40.
  • the adjuster 30 may acquire a workpiece parameter from a sensor (not shown). The sensor may be included in the servo mechanism 20, for example.
  • the learning device 40 In generating the learned model, the learning device 40 first operates the control system for the processing target having a certain parameter ⁇ once, and then sets the target value r (t) and the command value u. The relationship between (t) and the controlled variable y (t) is acquired. Next, the learning device 40 calculates a correction amount candidate ⁇ * corresponding to the parameter ⁇ from these three values. The learning device 40 generates teacher data based on the calculated correction amount candidate ⁇ * and the parameter ⁇ . By executing this process for a plurality of parameters, the learning device 40 can generate a plurality of teacher data having each parameter and a correction amount candidate corresponding to the parameter. Then, the learning device 40 generates a learned model by performing learning using the generated one or more teacher data. It should be noted that whether or not the generated teacher data is actually used for learning may be determined in light of a predetermined employment standard.
  • the learning device 40 may use a data-driven control method such as VRFT (Virtual Reference Feedback Tuning), FRIT (Fictitious Reference Iterative Tuning), or ERIT (Estimated Response Iterative Turning). it can.
  • the control parameter can be set using the obtained data without obtaining the dynamic characteristic model of the control target (in the present embodiment, the servo mechanism 20).
  • a correction amount candidate ⁇ * is generated from a set of operation data without repeating experiments, that is, without repeating the actual operation of the servo mechanism 20, and this is used as teacher data. Use as This shortens the time required to generate appropriate teacher data and enables efficient generation of a learned model for outputting an appropriate correction amount. As a result, the learning device can perform learning more efficiently without preparing or damaging the processing object.
  • FIG. 2 is a functional block diagram illustrating an example of a functional configuration of the learning device 40.
  • the learning device 40 includes a storage unit 41, a quality evaluation unit 42, a learning unit 43, and a setting unit 44.
  • the storage unit 41 stores a reference model Td and a management table.
  • the reference model Td represents an ideal response transfer function of the control amount y (t) with respect to the target value r (t).
  • target response an ideal control amount (hereinafter also referred to as “target response”) yd (t) with respect to the target value r (t) is expressed by the following equation (3).
  • ⁇ Expression of reference model Td> yd (t) Td ⁇ r (t) (3)
  • the reference model Td is not limited to a transfer function, and is generated by machine learning based on the target value r (t) and the control amount y (t) when the servo mechanism 20 is operated without a workpiece.
  • a model may be used.
  • FIG. 3 is a diagram illustrating an example of the management table.
  • the teacher data includes, for each workpiece, a specific parameter (hardness in the example of FIG. 3) as input data and an optimum correction amount (hereinafter referred to as “a value” for outputting a command value to the workpiece as output data. Is also referred to as “optimal correction amount”).
  • a control amount evaluation result hereinafter also referred to as “quality evaluation” output by the servo mechanism 20 in response to a command value generated based on the optimum correction amount associated with each workpiece corresponds. It is attached.
  • the servo mechanism 20 After the new teacher data record is added to the management table, if the servo mechanism 20 has not yet processed the work corresponding to the record, for example, the evaluation result column of the management table is not yet displayed. Implementation may be registered.
  • the management table manages the teacher data used by the learning unit 43 for learning and the evaluation results of the learned model newly generated (or updated) using the teacher data.
  • the result of evaluation of the learned model is an index indicating whether or not the optimum correction amount included in the teacher data of the corresponding record is appropriate. More specifically, with respect to the optimal correction amount in the record newly added as teacher data, the control amount output as a response when a command value generated based on the optimal correction amount is input to the servo mechanism 20. Is an index indicating whether or not the value is within a predetermined allowable range.
  • the learned model LM generated by the learning unit 43 is stored in the storage unit 41.
  • the storage unit 41 preferably stores a plurality of generations of learned models generated by the learning unit 43.
  • the quality evaluation unit 42 acquires operation data from the controller 10 and the servo mechanism 20 and evaluates the quality of the control amount. As an example, the case where the quality evaluation unit 42 outputs a control amount y (t) from the servo mechanism 20 as a response to the command value u (t) given to the target value r (t) will be described. At this time, the quality evaluation unit 42 inputs the target value r (t) to the reference model Td, and acquires the target response yd (t) for the target value r (t).
  • the quality evaluation unit 42 performs quality conversion on the target response yd (t) and the control amount y (t) to calculate an alternative index of quality.
  • the quality evaluation unit 42 performs quality conversion on the target response yd (t) and the control amount y (t) to calculate the bottom dead center position and settling time. More specifically, the quality evaluation unit 42 calculates the bottom dead center position from the maximum values of the target response yd (t) and the control amount y (t). The quality evaluation unit 42 subtracts the time when the command value reaches the target position from the time when the target response yd (t) enters the target position and the time when the control amount y (t) enters the target position. Thus, each settling time is calculated.
  • the bottom dead center position is a position where the stroke length of the servo mechanism 20 is maximized.
  • the settling time is an elapsed time from when the stroke length of the servo mechanism 20 enters the settling width to when it reaches the target position.
  • the settling width is a width within a predetermined range from the target position (for example, the target position). ⁇ 10 ⁇ m).
  • the quality evaluation unit 42 evaluates the quality of the controlled variable y (t) based on the bottom dead center position and the settling time, which are alternative indices calculated by converting the quality. For example, the quality evaluation unit 42 determines that the control amount y (t) has a predetermined tolerance based on whether the bottom dead center position matches the target position and whether the bottom dead center position is included in the settling width. It is possible to evaluate the quality by determining whether or not it is within the range.
  • the quality evaluation unit 42 may perform the quality evaluation of the control amount y (t) using the X bar -R control chart.
  • the X bar -R control chart is a control chart for managing the change of the average value and the change of the quality evaluation target.
  • FIG. 4 shows an example of an x control chart among the X bar -R control charts used by the quality evaluation section 42 for quality evaluation.
  • the vertical axis represents the stroke length.
  • Graphs L1 and L2 are averages of the bottom dead center positions calculated by converting the quality of each control amount y (t) when the servo mechanism 20 processes a plurality of lots of workpieces in each lot. It is an example of what plotted the value.
  • FIG. 4 shows an example of an x control chart among the X bar -R control charts used by the quality evaluation section 42 for quality evaluation.
  • the vertical axis represents the stroke length.
  • Graphs L1 and L2 are averages of the bottom dead center positions calculated by converting the quality of each control amount
  • the solid line indicates the upper limit and the lower limit of the standard value L3, and the broken line L4 indicates the upper limit and the lower limit of the management value.
  • the standard value is, for example, a request value of a customer who requested machining for a workpiece.
  • the management value is a value for managing so as not to exceed the standard value.
  • the target value of quality is shown at the center of the graph.
  • the graph L2 shows an example when the quality is within the range of the management value
  • the graph L1 shows an example when the quality does not fall within the standard value.
  • the example of FIG. 4 has shown the example which plotted the graph for every lot, the value of each plot is not limited to the value calculated per lot, It is based on the process with respect to 1 or several workpiece
  • quality-converted values may be used.
  • the quality evaluation unit 42 determines whether the bottom dead center position of the control amount y (t) is within the range of the management value or whether it is within the range of the standard value. Based on this, quality evaluation may be performed by determining whether or not the control amount y (t) is within a predetermined allowable range. For example, based on whether or not the control amount y (t) is within a predetermined allowable range as a result of quality evaluation using the X bar -R control chart shown in FIG. The result of quality evaluation may be registered. More specifically, for example, when responding to a command value generated based on the optimum correction amount candidate (0.5 mm in the example of FIG.
  • the control amount y ( ⁇ ) is output.
  • it is based on whether the bottom dead center position of the control amount y ( ⁇ ) is within the range of the management value or whether it is within the range of the standard value.
  • the result of the quality evaluation of the control amount y ( ⁇ ) is registered as the quality evaluation result in the record in the first row of the management table of FIG.
  • the learning unit 43 generates teacher data based on the correction amount candidate ⁇ * calculated using the operation data, and generates a learned model.
  • the learning unit 43 preferably uses data drive control such as VRFT, FRIT, and ERIT in calculating the correction amount candidate ⁇ *.
  • Data drive control is a method of setting control parameters using data without obtaining a dynamic characteristic model of a control target (in the present embodiment, the servo mechanism 20).
  • VRFT, FRIT, and ERIT are methods that can specify a correction amount from a set of motion data without performing repeated experiments.
  • the set of operation data includes a target value r, a command value given based on the target value, and a control amount output as a response to the command value.
  • the correction amount candidate generation process of the learning unit 43 will be described in more detail.
  • the learning unit 43 refers to the reference model Td, and the operation data when the servo mechanism 20 performs an operation on an arbitrary work (hereinafter referred to as “work X”) based on an arbitrary command value uini.
  • work X an arbitrary work
  • operation data Y an example of generating the correction amount candidate ⁇ * based on the operation data when the operation is performed on the workpiece X based on the arbitrary command value uini.
  • operation data Y an example of generating the correction amount candidate ⁇ * based on the operation data when the operation is performed on the workpiece X based on the arbitrary command value uini.
  • the command value uini is generated by correcting the target value r based on a certain correction amount ⁇ ini.
  • the motion data Y is represented by ⁇ r, uini, yini ⁇ . .
  • the learning unit 43 first calculates a virtual reference signal using the inverse model Td ⁇ 1 of the reference model Td according to the following equation (4).
  • the learning unit 43 calculates a correction amount candidate ⁇ * that minimizes the evaluation function Jv ( ⁇ ) represented by the following equation (5).
  • C ( ⁇ ) represents the transfer function of the controller 10 described above.
  • the learning unit 43 first calculates a pseudo reference signal according to the following equation (6).
  • C ( ⁇ ) ⁇ 1 represents the inverse transfer function of the controller 10.
  • the learning unit 43 calculates a correction amount candidate ⁇ * that minimizes the evaluation function Jf ( ⁇ ) represented by the following expression (7).
  • the learning unit 43 adds the calculated correction amount candidate ⁇ * as the optimum correction amount ⁇ ′, associates the parameter of the work X with the parameter of the work X, and adds it as teacher data to the management table.
  • the learning unit 43 may be configured to determine whether or not to adopt the correction amount candidate ⁇ * as the optimum correction amount ⁇ ′. In this case, the learning unit 43 determines whether or not the calculated correction amount candidate ⁇ * satisfies a predetermined adoption criterion, and when it satisfies, adopts the optimum correction amount ⁇ ′ and adds it to the management table.
  • the adoption criterion is, for example, whether or not the calculated correction amount candidate ⁇ * is a value (for example, an outlier) that is a predetermined value or more away from the optimal correction amount included in the teacher data registered in the management table.
  • the adoption criterion is that the correction amount candidate ⁇ * is not a value that is a certain value or more away from the average value of the optimum candidate amount included in the teacher data, or is a certain value or more from the maximum value or the minimum value of the optimum candidate amount. It may be a distant value.
  • the adoption criterion may be whether or not the calculated correction amount candidate ⁇ * is included in the range of the optimum correction amount included in the teacher data registered in the management table.
  • the learning unit 43 performs learning based on the teacher data registered in the management table, and generates a learned model LM *. For example, an existing neural network or regression analysis technique may be used for learning performed when generating a learned model.
  • the learning unit 43 adds and stores the learned model LM * generated this time in the storage unit 41.
  • the learning unit 43 may be configured to overwrite the learned model LM stored in the storage unit 41 with the learned model LM * generated this time.
  • the learning unit 43 may be configured to determine whether or not learning is necessary when generating the correction amount candidate ⁇ *. In this case, the learning unit 43 determines whether or not a predetermined learning necessity determination criterion is satisfied, and when satisfied, generates a correction amount candidate ⁇ * for performing learning.
  • the predetermined learning necessity determination criterion is, for example, whether or not the result of the quality evaluation unit 42 for the operation data Y is within an allowable range. Further, the predetermined learning necessity determination criterion may be whether or not the parameter of the workpiece X has been learned in the past, that is, whether or not it is outside the range of the parameter learned in the learned model currently set in the adjuster 30. .
  • the predetermined learning necessity determination criterion may be whether or not the external environment of the servo mechanism 20 has changed from the previous external environment when the workpiece X is operated.
  • the learning unit 43 may detect a change in the external environment based on an arbitrary input from the user, or obtain image data including the external environment of the servo mechanism 20 from the sensor, and obtain the acquired image data. Based on the above, a change in the external environment may be detected.
  • the setting unit 44 sets the learned model LM * generated by the learning unit 43 in the adjuster 30. At this time, before setting the learned model LM *, the setting unit 44 may evaluate the quality of the learned model LM * and determine whether or not to set in the adjuster 30 based on the evaluation result. .
  • the evaluation of the learned model LM * is, for example, a case where the learning unit 43 performs additional learning using the parameter of the workpiece X and the optimum correction amount ⁇ ′ as teacher data, and newly generates a learned model LM *.
  • the setting unit 44 provides the learned optimal correction amount ⁇ ′ to the controller 10 when a work having the same parameters as the work X is given to the servo mechanism 20.
  • the controller 10 generates a command value u (x) based on the optimum correction amount ⁇ ′ and outputs it to the servo mechanism 20.
  • the quality evaluation unit 42 performs quality evaluation on the control amount y (x) output as a response to the command value u (x) by the servo mechanism 20.
  • the setting unit 44 can set the newly generated learned model LM * in the adjuster 30.
  • the setting unit 44 may select the learned model LM one generation before and set it in the adjuster 30.
  • the setting unit 44 updates the learned model. It is not necessary to perform.
  • the setting unit 44 evaluates the learned models LM * in the order in which they are newly generated, for example, A learned model LM * whose result is within an allowable range may be first selected and set in the adjuster 30. Further, for example, the setting unit 44 may evaluate all the learned models LM *, select the learned model LM * with the best evaluation result, and set it in the adjuster 30.
  • the setting unit 44 may delete the learned model LM * whose evaluation did not satisfy the predetermined allowable range from the storage unit 41.
  • the setting unit 44 evaluates the newly generated (or updated) learned model LM * before actually setting it in the adjuster 30, thereby reducing the processing accuracy of the control system 1. Can be prevented.
  • the learning device 40 generates a reference model Td (S101). At this time, the learning device 40 obtains reference operation data [r, yd].
  • the reference operation data may be, for example, the target value r and the control amount y of the servo mechanism 20 when an operation without a workpiece is performed. Based on the acquired motion data [r, yd], the learning device 40 generates a reference model Td.
  • an initial value ⁇ ini of a correction amount for the target value is set (S102).
  • the initial value ⁇ ini of the correction amount may be set manually by the user.
  • the learned model may be generated.
  • the controller 10 generates a command value uini based on the set correction amount ⁇ ini and outputs it to the servo mechanism 20.
  • a control amount yini is output as a response to the command value uini.
  • the learning device 40 acquires the operation data [r, uini, yini] at this time (S103).
  • the learning unit 43 can determine whether or not the acquired operation data [r, uini, yini] is necessary based on the result of the quality evaluation performed by the quality evaluation unit 42.
  • the criterion for determining whether learning is necessary is not limited to this, and whether the parameter of the current work is within the range of previously learned parameters or whether the external environment has changed may be used as the criterion. Good. Further, for example, a person may determine whether or not learning is necessary.
  • the process returns to S101, and processing is performed on the next workpiece.
  • the learning unit 43 refers to the reference model Td and generates a correction amount candidate ⁇ * (S105).
  • the learning unit 43 can use a technique such as VRFT, FRIT, or ERIT when generating the correction amount candidate ⁇ *.
  • the learning unit 43 determines whether or not to add the generated correction amount candidate ⁇ * and the work parameter given to the servo mechanism 20 in S102 as teacher data (S106).
  • the adoption criterion for determining whether or not to add is, for example, whether or not the calculated correction amount candidate ⁇ * is a value that is not more than a predetermined value away from the correction amount included in the teacher data registered in the management table. is there. Further, for example, the adoption criterion may be whether or not the calculated correction amount candidate ⁇ * is included in the correction amount range included in the teacher data registered in the management table.
  • the learning unit 43 uses the generated correction amount candidate ⁇ * as the optimum correction amount ⁇ ′ as the teacher data, and the workpiece parameters given to the servo mechanism 20 in S102. Corresponding records are generated and added to the management table (S107). On the other hand, if it is determined not to be added (S106: NO), the process returns to S101 and the process is performed on the next workpiece. Note that the learning unit 43 may be configured to generate the teacher data and add it to the management table as the optimum correction amount ⁇ ′ as it is without performing the determination of S106 and using the generated correction amount candidate ⁇ * as it is.
  • the learning unit 43 When the teacher data is added, the learning unit 43 performs additional learning and newly generates (or updates) a learned model (S108).
  • the setting unit 44 determines whether or not to set the generated learned model in the adjuster 30 (S109). As an example, the setting unit 44 has learned about the control amount when the command value corrected based on the learned optimum correction amount ⁇ ′ is given to the servo mechanism 20 based on the evaluation result of the quality evaluation unit 42. It may be determined whether or not the model is set in the adjuster 30.
  • the setting unit 44 sets the newly generated learned model in the adjuster 30 (S110). On the other hand, when the quality evaluation is less than the allowable range, the process returns to S101 and the next workpiece is processed.
  • the setting unit 44 may be configured to set the newly generated learned model in the adjuster 30 as it is without performing the process of S109.
  • the learning device 40 calculates the control amount of the servo mechanism 20 that has processed the processing target according to the command value, and the target value and command value generated by the controller 10.
  • a correction amount candidate is generated based on the operation data included.
  • the learning device 40 when the generated correction amount candidate satisfies a predetermined adoption criterion, the correction amount candidate is adopted as teacher data, and a learned model is generated.
  • the learning device 40 preferably adjusts the correction amount by using a data drive control method such as VRFT, FRIT, or ERIT without obtaining a dynamic characteristic model to be controlled.
  • VRFTFRIT and ERIT are methods that can specify the correction amount ⁇ from a set of motion data without performing an iterative experiment, that is, without returning the actual motion of the controlled object.
  • the learning device 40 generates correction amount candidates without performing an iterative experiment, so that the learning apparatus 40 can efficiently learn without preparing or damaging the processing target, and generates appropriate teacher data. Can be shortened.
  • the computer 800 includes a processor 801, a memory 803, a storage device 805, an input I / F unit 807, a data I / F unit 809, a communication I / F unit 811, and a display device 813.
  • the processor 801 controls various processes in the computer 800 by executing a program stored in the memory 803.
  • the quality evaluation unit 42, the learning unit 43, the setting unit 44, and the like of the learning device 40 can be realized as a program that mainly operates on the processor 801 after being temporarily stored in the memory 803. That is, the processor 801 interprets and executes the program temporarily stored in the memory 803, thereby realizing the functions of the quality evaluation unit 42, the learning unit 43, and the setting unit 44.
  • the memory 803 is a storage medium such as a RAM (Random Access Memory).
  • the memory 803 temporarily stores a program code of a program executed by the processor 801 and data necessary for executing the program.
  • the storage device 805 is a non-volatile storage medium such as a hard disk drive (HDD) or flash memory.
  • the storage device 805 stores an operating system and various programs for realizing the above-described configurations.
  • the storage device 805 can also store a reference model Td and a management table. Such programs and data are referred to by the processor 801 by being loaded into the memory 803 as necessary.
  • the input I / F unit 807 is a device for receiving input from the user. Specific examples of the input I / F unit 807 include a keyboard, a mouse, a touch panel, various sensors, and a wearable device. The input I / F unit 807 may be connected to the computer 800 via an interface such as USB (Universal Serial Bus).
  • USB Universal Serial Bus
  • the data I / F unit 809 is a device for inputting data from the outside of the computer 800.
  • Specific examples of the data I / F unit 809 include a drive device for reading data stored in various storage media.
  • the data I / F unit 809 may be provided outside the computer 800. In this case, the data I / F unit 809 is connected to the computer 800 via an interface such as a USB.
  • the communication I / F unit 811 is a device for performing data communication with an external device of the computer 800 via the Internet N by wire or wireless.
  • the communication I / F unit 811 may be provided outside the computer 800. In that case, the communication I / F unit 811 is connected to the computer 800 via an interface such as a USB.
  • the display device 813 is a device for displaying various information. Specific examples of the display device 813 include a liquid crystal display, an organic EL (Electro-Luminescence) display, and a wearable device display.
  • the display device 813 may be provided outside the computer 800. In that case, the display device 813 is connected to the computer 800 via, for example, a display cable.
  • FIG. 7 is a diagram illustrating an example of the configuration of the control system 2. Note that description of matters common to the above-described embodiment is omitted, and only different points will be described. In particular, the same reference numerals are given to the above-described configurations, and the same functions and effects of the similar configurations will not be sequentially described for each embodiment.
  • the control system 2 has a controller 11 instead of the controller 10 in the control system 1. Further, the adjuster 30 inputs the correction amount ⁇ to the controller 11. Other configurations and functions are the same as those of the above-described embodiment.
  • the command value can be calculated by simply adding the target value and the correction amount without using the transfer function. This eliminates the need for a transfer function design, and thus facilitates the design of the control model.
  • the learning device 40 has been described as a configuration for newly generating a learned model, but may be configured to update an existing learned model.
  • the learning device 40 performs learning using a data set obtained by adding the newly generated teacher data to the teacher data used when the existing learned model is generated. A new learned model can be generated.
  • the learning device 40 can update the learned model by additionally learning the existing learned model using the newly generated teacher data. it can.
  • a control system (1) comprising: For a regulator (30) including a learned model learned to output a predetermined correction amount ( ⁇ ) to the controller (10) based on specific parameters of the processing object, A learning device (40) for providing the learned model, Based on the operation data including the target value (r), the command value (u), and the control amount (y), a correction amount candidate ( ⁇ *) is generated, and the generated correction amount candidate ( ⁇ *),
  • a learning unit (43) that learns using specific parameters of the processing object as teacher data and generate
  • the learning device according to attachment 1.
  • the data drive control is Either VRFT, FRIT or ERIT,
  • the learning unit (43) When the generated correction amount candidate ( ⁇ *) is not a value that is a predetermined threshold or more away from the correction amount candidate ( ⁇ *) included in the teacher data used for learning by the learned model, or the learned model Is within the range of correction amount candidates ( ⁇ *) included in the teacher data used for learning, the correction amount candidates are employed as teacher data.
  • the learning device (40) according to any one of appendices 1 to 3.
  • Operation data including a control amount (y) when the command value (u) obtained by correcting the target value (r) based on the correction amount ( ⁇ ) output from the learned model is given to the control target (20).
  • evaluating the quality of the controlled variable (42) Further comprising The learning unit (43) The learning is performed when the quality evaluation is less than an allowable range.
  • the learning device (40) according to any one of appendices 1 to 4.
  • the learning unit (43) The learning is performed when the specific parameter of the processing object is a value that is a predetermined threshold or more away from a parameter already learned as the teacher data.
  • the learning device (40) according to any one of appendices 1 to 5.
  • a control system (1) comprising: For a regulator (30) including a learned model learned to output a predetermined correction amount ( ⁇ ) to the controller (10) based on specific parameters of the processing object, A learning method executed in a learning device (40) that provides the learned model, The learning device (40) Based on the operation data including the target value (r), the command value (u), and the control amount (y), a correction amount candidate ( ⁇ *) is generated, and the generated correction amount candidate ( ⁇ *), Learning with specific parameters of the processing object as teacher data, generating or updating a learned model; Providing the generated or updated learned model to the adjuster (30); How to
  • a control system (1) comprising: For a regulator (30) including a learned model learned to output a predetermined correction amount ( ⁇ ) to the controller (10) based on specific parameters of the processing object, A program for causing a learning device (40) that provides the learned model to function, The learning device (40) Based on the operation data including the target value (r), the command value (u), and the control amount (y), a correction amount candidate ( ⁇ *) is generated, and the generated correction amount candidate ( ⁇ *), Means (43) for generating or updating a learned model by performing learning using specific parameters of the processing object as teacher data, and providing the generated or updated learned model

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Fuzzy Systems (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Neurology (AREA)
  • Feedback Control In General (AREA)

Abstract

処理対象物に対して加工・組立等の処理を行う制御系の予測制御において、制御対象に与える指令値を生成するための適切な補正量を効率的に学習する技術を提供する。補正量に基づいて目標値を補正した指令値を出力するコントローラと、処理対象物に対して所定の処理をするよう制御される制御対象であって、コントローラから出力される指令値が入力され、当該指令値の応答として制御量が出力される制御対象と、を備える制御系において、処理対象物のパラメータに基づいて、コントローラに対して所定の補正量を出力するように学習された学習済みモデルを含む調整器に対して、学習済みモデルを提供する学習装置であって、目標値、指令値及び制御量を含む動作データに基づいて、補正量候補を生成し、生成した補正量候補と、処理対象物のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新する学習部と、生成又は更新された学習済みモデルを、調整器に提供する設定部と、を備える。

Description

学習装置、学習方法、及びそのプログラム
　本発明は、学習装置、学習方法、及びそのプログラムに関する。
　プレス機械等の制御装置を用いて材料の加工・組立等を行った場合、通常、一度加工等を行った材料は元に戻せない。したがって、同一の材料に対して繰り返し加工等を行いながら、適切に制御量を調整することはできない。そのため、材料の性質と制御入力の関係を定量化し、新しく加工等を行うときに適切な制御入力を与え、適切な制御量を得ることが重要となる。
　例えば特許文献１には、プレス加工品を製造するにあたり、板厚のばらつきの影響を低減可能なプレスシステムが開示されている。特許文献１のプレスシステムは、プレス機械と、このプレス機械にワークを供給する供給装置とから構成されており、ワークの板厚情報をプレス機械によるプレス前に入手する板厚入手手段と、当該板厚入手手段からの板厚情報によりプレス機械のダイハイト(Ｈ)を設定するダイハイト設定手段とを備えている。
特開２００５－２１１９２８号公報
　ところで、特許文献１に記載されるプレスシステムでは、想定されるすべての板厚ごとに、実際のプレス機械で複数回試行錯誤することによって、設定すべき最適なダイハイトを調整する必要がある。また、実際にプレス機械等の処理対象物に対して加工・組立等の処理を行う制御系において、ダイハイト等の制御量の適性値は、板厚に限らず、処理対象物の硬度や温度、材質など、処理対象物に関する様々なパラメータの影響を受けることがある。このような様々なパラメータのすべての組み合わせに対して、実際に実機で複数回試行錯誤して適切な制御量を得るための補正量を調整するには、膨大な時間を要してしまう。
　そこで、本発明は、処理対象物に対して加工・組立等の処理を行う制御系の予測制御において、制御対象に与える指令値を生成するための適切な補正量を効率的に学習する技術を提供することを目的とする。
　本発明の一側面に係る学習装置は、補正量に基づいて目標値を補正した指令値を出力するコントローラと、処理対象物に対して所定の処理をするよう制御される制御対象であって、コントローラから出力される指令値が入力され、当該指令値の応答として制御量が出力される制御対象と、を備える制御系において、処理対象物の特定のパラメータに基づいて、コントローラに対して所定の補正量を出力するように学習された学習済みモデルを含む調整器に対して、学習済みモデルを提供する学習装置であって、目標値、指令値及び制御量を含む動作データに基づいて、補正量候補を生成し、生成した補正量候補と、処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新する学習部と、生成又は更新された学習済みモデルを、調整器に提供する設定部と、を備える。この態様によると、学習装置は、制御対象を実際に動作させることなく補正量候補を生成するため、処理対象物を準備したり破損させたりすることなく、効率的に学習することができる。なお、「パラメータ」は、処理対象物の特徴量や物理量、その他の任意の数値情報を含む。特徴量は、例えば処理対象物の材質等であり、物理量は例えば、処理対象物の硬度や温度等である。
　上記構成において、学習部は、データ駆動制御によって補正量候補を生成してもよい。このとき、データ駆動制御としては、ＶＲＦＴ、ＦＲＩＴ又はＥＲＩＴのいずれかを用いてもよい。この態様によると、学習部は、ＶＲＦＴやＦＲＩＴ、ＥＲＩＴ等のデータ駆動制御の手法を用いることにより、制御対象の動特性モデルを求めることなく補正量候補を生成し、教師データを生成することが可能となる。これによって、学習装置は、制御対象の実際の動作を繰り返し行わせることなく補正量候補を生成することが可能になる。この結果、学習装置は、処理対象物を準備したり破損させたりすることなく、より効率的に学習を行うことができる。
　また、学習部は、生成した補正量候補が、学習済みモデルが学習に用いた教師データに含まれる補正量候補から所定の閾値以上離れた値でない場合、又は、学習済みモデルが学習に用いた教師データに含まれる補正量候補の範囲内である場合に当該補正量候補を採用するように構成されてよい。これによって、学習部が生成した補正量候補が、不適切であった場合に不要な学習を行うことを防ぐことができる。
　また、学習済みモデルが出力した補正量に基づいて目標値を補正した指令値を、制御対象に与えたときの制御量を含む動作データを取得して、制御量の品質を評価する評価部をさらに備え、学習部は、品質の評価が、許容範囲に満たない場合に、学習を行うように構成されてよい。また、学習部は、処理対象物の特定のパラメータが、教師データとしてすでに学習されたパラメータから所定の閾値以上離れた値である場合に学習を行うように構成されてよい。これによって、現在の学習済みモデルで対応可能な処理対象物に対して、学習部が不要な学習を行うことを防ぐことができる。
　本発明の一側面に係る学習方法は、補正量に基づいて目標値を補正した指令値を出力するコントローラと、処理対象物に対して所定の処理をするよう制御される制御対象であって、コントローラから出力される指令値が入力され、当該指令値の応答として制御量が出力される制御対象と、を備える制御系において、処理対象物の特定のパラメータに基づいて、コントローラに対して所定の補正量を出力するように学習された学習済みモデルを含む調整器に対して、学習済みモデルを提供する学習装置において実行される学習方法であって、学習装置が、目標値、指令値及び制御量を含む動作データに基づいて、補正量候補を生成し、補正量候補が所定の採用基準を満たす場合は、生成した補正量候補と、処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新するステップと、生成又は更新された学習済みモデルを、前記調整器に提供するステップと、を実行する。
　本発明の一側面に係るプログラムは、補正量に基づいて目標値を補正した指令値を出力するコントローラと、処理対象物に対して所定の処理をするよう制御される制御対象であって、コントローラから出力される指令値が入力され、当該指令値の応答として制御量が出力される制御対象と、を備える制御系において、処理対象物の特定のパラメータに基づいて、コントローラに対して所定の補正量を出力するように学習された学習済みモデルを含む調整器に対して、学習済みモデルを提供する学習装置を機能させるプログラムであって、学習装置を、目標値、指令値及び制御量を含む動作データに基づいて、補正量候補を生成し、補正量候補が所定の採用基準を満たす場合は、生成した補正量候補と、処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新する手段、及び生成又は更新された学習済みモデルを、前記調整器に提供する手段として機能させる。
　本発明によれば、処理対象物に対して加工・組立等の処理を行う制御系の予測制御において、制御対象に与える指令値を生成するための適切な補正量を効率的に学習する技術を提供することができる。
本発明の一実施形態に係る制御システムのシステム構成例を示す模式図である。 本発明の一実施形態に係る学習装置の機能構成例を示すブロック図である。 本発明の一実施形態に係る管理テーブルの一例を示す図である。 本発明の一実施形態に係る管理図の一例を示す図である。 本発明の一実施形態に係る学習装置の処理の一例を説明するためのフローチャートである。 本発明の一実施形態に係る学習装置のハードウェア構成を示す模式図である。 本発明の別の実施形態に係る制御システムのシステム構成例を示す模式図である。
［実施形態］ 
　以下、本発明の一側面に係る実施の形態（以下「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
　§１　適用例
　まず、図１を参照しながら、本発明が適用される場面の一例について説明する。図１は本発明に係る制御システム１の構成の一例を示す図である。制御システム１は、コントローラ１０と、サーボ機構２０と、調整器３０と、学習装置４０とを備えている。
　コントローラ１０は、調整器３０から出力された補正量ρに基づいて目標値ｒ（ｔ）を補正した指令値ｕ（ｔ）を生成して、サーボ機構２０に出力する。目標値ｒ（ｔ）は、コントローラ１０によって生成（記憶された目標値を用いることを含む）されてもよいし、外部からコントローラ１０に与えられてもよい。コントローラ１０の伝達関数Ｃ（ρ）とすると、コントローラ１０では、以下の式（１）に示す演算を行うことで、指令値ｕを生成する。
＜コントローラの演算式＞
ｕ（ｔ）＝Ｃ（ρ）×ｒ（ｔ）・・・式（１）
　サーボ機構２０は、コントローラ１０によって、処理対象物（以下「ワーク」ともいう。）に対して所定の処理をするように制御される。サーボ機構２０には、コントローラ１０から指令値ｕ（ｔ）が与えられ、当該入力値の応答として制御量ｙ（ｔ）が出力される。サーボ機構２０の伝達関数をＰとすると、制御量ｙ（ｔ）は、以下の式（２）で表される。
＜サーボ機構の演算式＞
ｙ（ｔ）＝Ｐ×ｕ（ｔ）　・・・式（２）
　なお、本実施形態では、サーボ機構２０は、ワークに対して所定量の圧力でプレスするプレス機械の例を示すが、これに限られない。なお、サーボ機構２０は、本発明の「制御対象」の一例である。
　調整器３０は、コントローラ１０に与える補正量ρを出力する。本実施形態において、調整器３０は、ワークが有するパラメータのうち、特定のパラメータに基づいて適切な補正量が出力されるように学習された学習済みモデルを有している。例えば、ワークの板厚の大きさを特定のパラメータとしてもよい。この学習済みモデルは、学習装置４０から提供されるものであってよい。また、調整器３０は、センサ（不図示）からワークのパラメータを取得してもよい。なお、センサは例えばサーボ機構２０が有してもよい。
　学習装置４０は、学習済みモデルを生成するにあたり、まず、あるパラメータαを有する処理対象物に対して、制御系を一度実際に動作させて、そのときの目標値ｒ（ｔ）、指令値ｕ（ｔ）、及び制御量ｙ（ｔ）の関係を取得する。次に、学習装置４０は、これら３つの値からパラメータαに対応する補正量候補ρ*を算出する。算出した補正量候補ρ*とパラメータαとに基づいて、学習装置４０は教師データを生成する。この処理を複数のパラメータについて実行することで、学習装置４０は、各パラメータとそれに対応する補正量候補とを有する教師データを複数生成することができる。そして、学習装置４０は、生成した一又は複数の教師データを用いて学習を行うことで、学習済みモデルを生成する。なお、生成された教師データを実際に学習に用いるか否かは、所定の採用基準に照らし合わせて決定されてもよい。
　補正量候補ρ*を生成するにあたり、学習装置４０は、ＶＲＦＴ（Virtual　Reference　Feedback　Tuning）やＦＲＩＴ（Fictitious　Reference　Iterative　Tuning）、ＥＲＩＴ(Estimated Response Iterative Turning）等の、データ駆動制御の手法を用いることができる。データ駆動制御は、制御対象（本実施形態の場合、サーボ機構２０である。）の動特性モデルを求めることなく、得られたデータを用いて制御パラメータを設定することができる。データ駆動制御の手法を用いることにより、反復実験を行うことなく、すなわちサーボ機構２０の実際の動作を繰り返し行うことなく、一組の動作データから補正量候補ρ*を生成し、これを教師データとして利用する。これによって、適切な教師データを生成するまでの時間を短縮し、適切な補正量を出力するための学習済みモデルの効率的な生成を可能としている。この結果、学習装置は、処理対象物を準備したり破損させたりすることなく、より効率的に学習を行うことができる。
　§２　構成例
　図２乃至図４を参照して、学習装置４０の機能構成の一例を説明する。図２は、学習装置４０の機能構成の一例を示す機能ブロック図である。図２に示すように、学習装置４０は、記憶部４１と、品質評価部４２と、学習部４３と、設定部４４とを有している。
　記憶部４１には、参照モデルＴｄと、管理テーブルとが記憶されている。
　参照モデルＴｄとは、目標値ｒ（ｔ）に対する制御量ｙ（ｔ）の理想的な応答の伝達関数を示したものである。参照モデルＴｄを用いると、目標値ｒ（ｔ）に対する理想的な制御量（以下「目標応答」ともいう。）ｙｄ（ｔ）は次式（３）で表される。
＜参照モデルＴｄの式＞
ｙｄ（ｔ）＝Ｔｄ×ｒ（ｔ）　・・・（３）
　なお、参照モデルＴｄは伝達関数に限定されず、サーボ機構２０をワークのない状態で動作させた際の、目標値ｒ（ｔ）、制御量ｙ（ｔ）に基づいて、機械学習により生成されるモデルを用いてもよい。
　管理テーブルには、学習部４３が学習に用いる教師データが管理されている。図３は、管理テーブルの一例を示す図である。教師データは、ワークごとに、入力データとして当該ワークの特定のパラメータ（図３の例では硬さ）と、出力データとして当該ワークに対して指令値を出力する際の最適な補正量（以下「最適補正量」ともいう。）と、が対応付けられたデータである。管理テーブルには、各ワークに対応付けられた最適補正量に基づいて生成された指令値に応答してサーボ機構２０が出力した制御量の評価結果（以下「品質評価」ともいう。）が対応付けられている。
　なお、管理テーブルに新たな教師データのレコードが追加された後、当該レコードに対応するワークについて、サーボ機構２０が処理をまだ行っていない場合には、管理テーブルの評価結果の欄には例えば未実施が登録されてもよい。
　このように、管理テーブルには、学習部４３が学習に用いた教師データと、当該教師データを用いて新たに生成された（又は更新された）学習済みモデルの評価の結果が管理されている。学習済みモデルの評価の結果とは、対応するレコードの教師データに含まれる最適補正量が適切であったか否かを示す指標である。より詳細には、新たに教師データとして追加されたレコードにおける最適補正量について、当該最適補正量に基づいて生成された指令値がサーボ機構２０に入力された場合に、応答として出力された制御量が、所定の許容範囲内であるか否かを示す指標である。
　さらに、記憶部４１には、学習部４３が生成した学習済みモデルＬＭが記憶されている。記憶部４１は、学習部４３が生成した学習済みモデルの複数の世代を記憶していることが好ましい。
　品質評価部４２は、コントローラ１０及びサーボ機構２０から動作データを取得して、制御量の品質を評価する。一例として、品質評価部４２は目標値ｒ（ｔ）に対して与えられた指令値ｕ（ｔ）への応答としてサーボ機構２０から制御量ｙ（ｔ）が出力された場合について説明する。このとき、品質評価部４２は、目標値ｒ（ｔ）を参照モデルＴｄに入力し、目標値ｒ（ｔ）に対する目標応答ｙｄ（ｔ）を取得する。
　次に、品質評価部４２は、目標応答ｙｄ（ｔ）、制御量ｙ（ｔ）について品質換算を行い品質の代替指標を算出する。例えば品質評価部４２は、目標応答ｙｄ（ｔ）、制御量ｙ（ｔ）に対して品質換算を行い下死点位置や整定時間を算出する。より詳細には、品質評価部４２は、目標応答ｙｄ（ｔ）、制御量ｙ（ｔ）の最大値から下死点位置を算出する。また、品質評価部４２は、目標応答ｙｄ（ｔ）が目標位置に入った時刻、及び制御量ｙ（ｔ）が目標位置に入った時刻のそれぞれから指令値が目標位置に到達した時刻を減算することで、それぞれの整定時間を算出する。なお、下死点位置は、サーボ機構２０のストローク長が最大となった位置である。また、整定時間は、サーボ機構２０のストローク長が整定幅に入ったときから、目標位置に到達するときまでの経過時間であり、整定幅は、目標位置から所定の範囲の幅（例えば目標位置±１０μｍである）をいう。
　品質評価部４２は、品質換算して算出した代替指標である下死点位置と整定時間に基づいて、制御量ｙ（ｔ）の品質評価を行う。例えば、品質評価部４２は、下死点位置が目標位置と一致しているか否かや、下死点位置が整定幅に含まれるか否かに基づいて制御量ｙ（ｔ）が所定の許容範囲内か否かを判定することで品質評価をすることができる。
　また、例えば、品質評価部４２は、Ｘｂａｒ－Ｒ管理図を用いて制御量ｙ（ｔ）の品質評価を行ってもよい。Ｘｂａｒ－Ｒ管理図は、品質評価対象の平均値の変化とばらつきの変化を管理するための管理図である。図４は、品質評価部４２が品質評価に用いるＸｂａｒ－Ｒ管理図のうちｘ管理図の一例を示している。図４において、縦軸はストローク長を示している。グラフＬ１，Ｌ２は、複数のロット分のワークに対してサーボ機構２０が処理を行った際のそれぞれの制御量ｙ（ｔ）について品質換算して算出した下死点位置の、各ロットにおける平均値をプロットしたものの一例である。図４において、実線は規格値Ｌ３の上限及び下限を示し、破線Ｌ４は管理値の上限及び下限を示している。規格値は例えば、ワークについて加工を依頼した顧客の要求値である。管理値は、規格値を超えないように管理するための値である。グラフの中心には、品質の目標値が示されている。グラフＬ２は、品質が管理値の範囲内にある場合の一例を示すものであり、グラフＬ１は、品質が規格値内に納まらなかった場合の一例を示すものである。なお、図４の例では、ロットごとにグラフのプロットを行った例を示しているが、各プロットの値はロット単位で算出された値に限定されず、１又は複数のワークに対する処理に基づいて品質換算された値を用いてもよい。品質評価部４２は、図４に示すＸｂａｒ－Ｒ管理図において、制御量ｙ（ｔ）の下死点位置が、管理値の範囲内か否かや、規格値の範囲内か否かに基づいて、制御量ｙ（ｔ）が所定の許容範囲内か否かを判定することで品質評価をしてもよい。例えば、図４に示すＸｂａｒ－Ｒ管理図等を用いて品質評価を行った結果、制御量ｙ（ｔ）が所定の許容範囲内か否かに基づいて、上述した図３の管理テーブルにおける品質評価の結果が登録されてもよい。より詳細には、例えば図３の１行目のレコードに登録されている最適補正量候補（図３の例では０．５ｍｍ）に基づいて生成された指令値に応答した際に、サーボ機構２０から制御量ｙ（β）が出力されたとする。このとき、図４に示すＸｂａｒ－Ｒ管理図を用いて、制御量ｙ（β）の下死点位置が管理値の範囲内か否かや、規格値の範囲内か否かに基づいて、制御量ｙ（β）の品質評価が行われた結果が、図３の管理テーブルの１行目のレコードにおける品質評価の結果として登録される。
　学習部４３は、動作データを用いて算出した補正量候補ρ*に基づいて教師データを生成し、学習済みモデルを生成する。学習部４３は、補正量候補ρ*を算出するにあたり、ＶＲＦＴやＦＲＩＴ、ＥＲＩＴ等の、データ駆動制御を用いることが好ましい。データ駆動制御は、制御対象（本実施形態の場合、サーボ機構２０である。）の動特性モデルを求めることなくデータを用いて制御パラメータを設定する手法である。ＶＲＦＴ、ＦＲＩＴ及びＥＲＩＴは、反復実験を行うことなく、一組の動作データから補正量を特定可能な手法である。一組の動作データは、目標値ｒと、当該目標値に基づいて与えられた指令値と、指令値の応答として出力された制御量である。
　学習部４３の補正量候補生成処理について、より詳細に説明する。例えば、学習部４３は、参照モデルＴｄを参照し、サーボ機構２０が任意のワーク（以下「ワークＸ」という。）に対して、任意の指令値ｕｉｎｉに基づいて動作を行った場合の動作データ（以下、ワークＸに対して任意の指令値ｕｉｎｉに基づいて動作を行った場合の動作データを特に「動作データＹ」という。）に基づいて、補正量候補ρ*を生成する例について説明する。この指令値ｕｉｎｉは、ある補正量ρｉｎｉに基づいて目標値ｒを補正して生成されるものとする。ここで、動作データＹに含まれる目標値を目標値ｒとし、指令値を指令値ｕｉｎｉとし、制御量を制御量ｙｉｎｉとすると、動作データＹは、｛ｒ，ｕｉｎｉ，ｙｉｎｉ｝で表される。
　学習部４３は、ＶＲＦＴを用いて補正量候補ρ*を算出する場合、参照モデルＴｄの逆モデルＴｄ－１を用いて、以下の式（４）により、まず、仮想参照信号を算出する。
Figure JPOXMLDOC01-appb-M000001
　さらに学習部４３は、以下の式（５）で表される評価関数Ｊｖ（ρ）を最小化する補正量候補ρ*を算出する。なお、式（５）において、Ｃ（ρ）は、上述のコントローラ１０の伝達関数を示している。
Figure JPOXMLDOC01-appb-M000002
　他方、学習部４３は、ＦＲＩＴを用いて補正量候補ρ*を算出する場合、以下の式（６）により、まず、疑似参照信号を算出する。なお、式（６）において、Ｃ（ρ）－１はコントローラ１０の逆伝達関数を示している。
Figure JPOXMLDOC01-appb-M000003
　さらに学習部４３は、以下の式（７）で表される評価関数Ｊｆ（ρ）を最小化する補正量候補ρ*を算出する。
Figure JPOXMLDOC01-appb-M000004
　学習部４３は、算出した補正量候補ρ*を最適補正量ρ´として、ワークＸのパラメータとを対応付けて教師データとして管理テーブルに追加する。なお、学習部４３は、補正量候補ρ*を最適補正量ρ´に採用するか否かを判定する採否判定を行う構成でもよい。この場合、学習部４３は、算出した補正量候補ρ*が所定の採用基準を満たすか否かを判定し、満たした場合に最適補正量ρ´として採用し、管理テーブルに追加する。採用基準は、例えば、算出した補正量候補ρ*が、管理テーブルに登録されている教師データに含まれる最適補正量から所定の値以上離れた値（例えば外れ値）でないか否かである。なお、採用基準は、補正量候補ρ*が、上記の教師データに含まれる最適候補量の平均値から一定値以上離れた値ではないか、最適候補量の最大値又は最小値から一定値以上離れた値ではないか、でもよい。また、例えば、採用基準は、算出した補正量候補ρ*が、管理テーブルに登録されている教師データに含まれる最適補正量の範囲に含まれるか否かでもよい。
　学習部４３は、管理テーブルに登録された教師データに基づいて学習を実行し、学習済みモデルＬＭ*を生成する。なお、学習済みモデルを生成する際に行う学習には、例えば既存のニューラルネットワークや回帰分析の技術を用いてもよい。学習部４３は、記憶部４１に今回生成した学習済みモデルＬＭ*を追加して記憶させる。なお、学習部４３は、記憶部４１に記憶されている学習済みモデルＬＭを今回生成した学習済みモデルＬＭ*で上書きする構成でもよい。
　なお、学習部４３は、補正量候補ρ*を生成するにあたり、学習要否判定を行う構成でもよい。この場合、学習部４３は、所定の学習要否判定基準を満たすか否かを判定し、満たしたときに、学習を行うために補正量候補ρ*を生成する。所定の学習要否判定基準は、例えば、動作データＹに対する品質評価部４２の結果が許容範囲内であるか否かである。また、所定の学習要否判定基準は、ワークＸのパラメータが過去に学習した、すなわち、現在、調整器３０に設定されている学習済みモデルにおいて学習したパラメータの範囲外であるか否かでもよい。他にも、所定の学習要否判定基準は、ワークＸに対して動作を行った際にサーボ機構２０の外部環境が、それ以前の外部環境から変化したか否かでもよい。この場合、学習部４３は、ユーザの任意の入力に基づいて、外部環境の変化を検出してもよいし、サーボ機構２０の外部環境を含む画像データをセンサから取得して、取得した画像データに基づいて、外部環境の変化を検出してもよい。
　設定部４４は、学習部４３が生成した学習済みモデルＬＭ*を調整器３０へ設定する。このとき設定部４４は、学習済みモデルＬＭ*を設定する前に、学習済みモデルＬＭ*の品質を評価し、評価結果に基づいて、調整器３０に設定するか否かを判定してもよい。
　学習済みモデルＬＭ*の評価とは、例えば、ワークＸのパラメータと最適補正量ρ´とを教師データとして、学習部４３が追加学習を行い、新たに学習済みモデルＬＭ*を生成したとする。このとき設定部４４は、ワークＸと同様のパラメータを有するワークがサーボ機構２０に与えられた際に、学習した最適補正量ρ´をコントローラ１０に提供する。コントローラ１０では、最適補正量ρ´に基づいて指令値ｕ（ｘ）を生成し、サーボ機構２０に出力する。サーボ機構２０が指令値ｕ（ｘ）への応答として出力した制御量ｙ（ｘ）について、品質評価部４２が品質評価を行う。品質評価の結果、制御量ｙ（ｘ）が所定の許容範囲内であれば、設定部４４は調整器３０に新たに生成された学習済みモデルＬＭ*を設定することができる。他方、所定の許容範囲に満たなかった場合には、設定部４４は、一世代前の学習済みモデルＬＭを選択して、調整器３０に設定する構成でもよい。なお、今回生成した学習済みモデルＬＭ*の品質が所定の許容範囲に満たなかった場合において、すでに調整器３０に学習済みモデルが設定されている場合には、設定部４４は学習済みモデルの更新を行わなくてもよい。
　なお、記憶部４１に評価が未実施の学習済みモデルＬＭ*が複数登録されている場合には、設定部４４は、例えば、新しく生成された順に学習済みモデルＬＭ*の評価を行い、評価の結果が最初に許容範囲内に納まった学習済みモデルＬＭ*を選択して調整器３０に設定してもよい。また例えば、設定部４４は、すべての学習済みモデルＬＭ*の評価を実施して、評価結果がもっともよかった学習済みモデルＬＭ*を選択して調整器３０に設定してもよい。
　なお、設定部４４は、評価が所定の許容範囲に満たなかった学習済みモデルＬＭ*を記憶部４１から削除してもよい。
　このように設定部４４が、新たに生成（又は更新）された学習済みモデルＬＭ*について、調整器３０に実際に設定する前に、評価を実施することで、制御システム１の処理精度が低下してしまうことを防ぐことができる。
　§３　動作フロー
　図５を参照して、本実施形態に係る制御システム１の処理フローの一例について説明する。まず、学習装置４０は、参照モデルＴｄを生成する（Ｓ１０１）。このとき、学習装置４０は、基準とする動作データ[ｒ、ｙｄ]を取得する。基準となる動作データは、例えば、ワークなし動作を行った場合の、目標値ｒと、サーボ機構２０の制御量ｙとしてよい。取得した動作データ[ｒ、ｙｄ]に基づいて、学習装置４０は、参照モデルＴｄを生成する。
　次に、ワークが与えられた場合（Ｓ１０１：ＹＥＳ）、目標値に対する補正量の初期値ρｉｎｉを設定する（Ｓ１０２）。補正量の初期値ρｉｎｉは、ユーザが手動で設定してもよい。また、すでに調整器３０に学習済みモデルが設定されている場合には、当該学習済みモデルが生成してもよい。
　コントローラ１０では、設定された補正量ρｉｎｉに基づいて指令値ｕｉｎｉが生成され、サーボ機構２０に出力される。サーボ機構２０では、指令値ｕｉｎｉへの応答として制御量ｙｉｎｉが出力される。学習装置４０は、このときの動作データ[ｒ，ｕｉｎｉ，ｙｉｎｉ]を取得する（Ｓ１０３）。
　次に、学習の要否が判定される（Ｓ１０４）。例えば、学習部４３は、取得された動作データ[ｒ，ｕｉｎｉ，ｙｉｎｉ]について、品質評価部４２が行った品質評価の結果に基づいて、要否を判定することができる。なお、学習の要否の判定基準はこれに限定されず、今回のワークのパラメータが過去に学習したパラメータの範囲内か否かや、外部環境が変化したか否かを判定基準に用いてもよい。また例えば、学習の要否は人が判定してもよい。
　学習が不要と判定された場合（Ｓ１０４：ＮＯ）には、Ｓ１０１に戻り、次のワークに対して処理が行われる。他方、学習が必要と判定された場合（Ｓ１０４：ＹＥＳ）には、学習部４３は、参照モデルＴｄを参照し、補正量候補ρ*を生成する（Ｓ１０５）。学習部４３は補正量候補ρ*を生成する際に、ＶＲＦＴやＦＲＩＴ、ＥＲＩＴ等の手法を用いることができる。
　次に、学習部４３は、生成した補正量候補ρ*と、Ｓ１０２でサーボ機構２０に与えられたワークのパラメータとを対応付けて教師データとして追加するか否かを判定する（Ｓ１０６）。追加するか否かを判定する採用基準は、例えば、算出した補正量候補ρ*が、管理テーブルに登録されている教師データに含まれる補正量から所定の値以上離れた値でないか否かである。また、例えば、採用基準は、算出した補正量候補ρ*が、管理テーブルに登録されている教師データに含まれる補正量の範囲に含まれるか否かでもよい。
　追加すると判定した場合（Ｓ１０６：ＹＥＳ）には、学習部４３は、教師データとして、生成した補正量候補ρ*を最適補正量ρ´として、Ｓ１０２でサーボ機構２０に与えられたワークのパラメータと対応付けてレコードを生成し、管理テーブルに追加する（Ｓ１０７）。他方、追加しないと判定した場合（Ｓ１０６：ＮＯ）には、Ｓ１０１に戻り、次のワークに対して処理が行われる。なお、学習部４３は、Ｓ１０６の判定を行わず、生成した補正量候補ρ*はそのまま最適補正量ρ´として、教師データを生成し、管理テーブルに追加する構成でもよい。
　教師データを追加すると、学習部４３は、追加学習を実施して、学習済みモデルを新たに生成（又は更新）する（Ｓ１０８）。
　次に、設定部４４は、生成された学習済みモデルを調整器３０に設定するか否かを判定する（Ｓ１０９）。一例として、設定部４４は、学習した最適補正量ρ´に基づいて補正された指令値を、サーボ機構２０に与えたときの制御量について、品質評価部４２の評価結果に基づいて、学習済みモデルを調整器３０に設定するか否かを判定してもよい。
　品質評価が所定の許容範囲内である場合には、設定部４４は、新たに生成された学習済みモデルを調整器３０に設定する（Ｓ１１０）。他方、品質評価が許容範囲に満たない場合には、Ｓ１０１に戻り、次のワークに対して処理が行われる。なお、設定部４４は、Ｓ１０９の処理を行わず、新たに生成された学習済みモデルを、そのまま調整器３０に設定する構成でもよい。
　§４　利点
　本実施形態に係る制御システム１では、学習装置４０が、指令値に従い処理対象に対して処理を行ったサーボ機構２０の制御量と、コントローラ１０が生成した目標値及び指令値とを含む動作データに基づいて、補正量候補を生成する。学習装置４０では、生成した補正量候補が所定の採用基準を満たした場合には、当該補正量候補を教師データとして採用し、学習済みモデルを生成を行う。学習装置４０は、補正量候補を生成するにあたり、ＶＲＦＴやＦＲＩＴ、ＥＲＩＴ等のデータ駆動制御の手法により、制御対象の動特性モデルを求めることなく補正量を調整することが好ましい。ＶＲＦＴＦＲＩＴ、ＥＲＩＴは、反復実験を行うことなく、すなわち制御対象の実際の動作を返し行うことなく、一組の動作データから補正量ρを特定可能な手法である。学習装置４０が、反復実験を行うことなく補正量候補を生成することにより、処理対象物を準備したり破損したりすることなく効率的に学習をすることができ、適切な教師データを生成するまでの時間を短縮することができる。
　§５　ハードウェア構成
　次に、図６を参照しながら、上述してきた学習装置４０をコンピュータ８００により実現する場合のハードウェア構成の一例を説明する。なお、それぞれの装置の機能は、複数台の装置に分けて実現することもできる。
　図６に示すように、コンピュータ８００は、プロセッサ８０１、メモリ８０３、記憶装置８０５、入力Ｉ／Ｆ部８０７、データＩ／Ｆ部８０９、通信Ｉ／Ｆ部８１１、及び表示装置８１３を含む。
　プロセッサ８０１は、メモリ８０３に記憶されているプログラムを実行することによりコンピュータ８００における様々な処理を制御する。例えば、学習装置４０の品質評価部４２と、学習部４３と、設定部４４などは、メモリ８０３に一時記憶された上で、主にプロセッサ８０１上で動作するプログラムとして実現可能である。すなわち、プロセッサ８０１がメモリ８０３に一時記憶されたプログラムを解釈実行することにより、品質評価部４２と、学習部４３と、設定部４４の働きが実現される。
　メモリ８０３は、例えばＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ８０３は、プロセッサ８０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。
　記憶装置８０５は、例えばハードディスクドライブ（ＨＤＤ）やフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置８０５は、オペレーティングシステムや、上記各構成を実現するための各種プログラムを記憶する。この他、記憶装置８０５は、参照モデルＴｄや管理テーブルを記憶することも可能である。このようなプログラムやデータは、必要に応じてメモリ８０３にロードされることにより、プロセッサ８０１から参照される。
　入力Ｉ／Ｆ部８０７は、ユーザからの入力を受け付けるためのデバイスである。入力Ｉ／Ｆ部８０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ、ウェアラブル・デバイス等が挙げられる。入力Ｉ／Ｆ部８０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）等のインタフェースを介してコンピュータ８００に接続されても良い。
　データＩ／Ｆ部８０９は、コンピュータ８００の外部からデータを入力するためのデバイスである。データＩ／Ｆ部８０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ部８０９は、コンピュータ８００の外部に設けられることも考えられる。その場合、データＩ／Ｆ部８０９は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００へと接続される。
　通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部の装置と有線又は無線により、インターネットＮを介したデータ通信を行うためのデバイスである。通信Ｉ／Ｆ部８１１は、コンピュータ８００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ部８１１は、例えばＵＳＢ等のインタフェースを介してコンピュータ８００に接続される。
　表示装置８１３は、各種情報を表示するためのデバイスである。表示装置８１３の具体例としては、例えば液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ－Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ、ウェアラブル・デバイスのディスプレイ等が挙げられる。表示装置８１３は、コンピュータ８００の外部に設けられても良い。その場合、表示装置８１３は、例えばディスプレイケーブル等を介してコンピュータ８００に接続される。
　§６　他の実施形態
　図７を参照して、本発明の他の実施形態に係る制御システム２の構成を説明する。図７は、制御システム２の構成の一例を示す図である。なお、既述の実施形態と共通の事柄についての記述は省略し、異なる点についてのみ説明する。特に、既述の構成には同様の符号を付し、同様の構成による同様の作用効果については実施形態毎には逐次言及しない。
　制御システム２は、制御システム１におけるコントローラ１０に代えて、コントローラ１１、を有している。また、調整器３０は、コントローラ１１に対して補正量ρを入力する。その他の構成、機能は既述の実施形態と同様である。
　コントローラ１１は、調整器３０から入力された補正量ρを、生成した目標値ｒ（ｔ）に加えて指令値ｕ（ｔ）を生成し、サーボ機構２０に入力する。つまり、コントローラ１１の演算式は以下の式（８）である。
ｕ（ｔ）＝ｒ（ｔ）＋ρ・・・式（８）
　コントローラ１１によると、伝達関数を用いずに、単純に目標値と補正量とを加算して指令値を算出することができる。これにより伝達関数の設計が不要になるため、制御モデルの設計が容易になる。
　以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。
　なお、前述までの説明では、学習装置４０は、学習済みモデルを新たに生成する構成として説明したが、既存の学習済みモデルを更新する構成としてもよい。学習済みモデルを新たに生成する構成の場合、学習装置４０は、既存の学習済みモデルを生成したときに用いた教師データに、今回新たに生成した教師データを加えたデータセットを用いた学習により、新たな学習済みモデルを生成することができる。他方、学習済みモデルを更新する構成の場合、学習装置４０は、既存の学習済みモデルに対して、今回新たに生成した教師データを用いて追加学習させることで、学習済みモデルを更新することができる。
　前述の実施形態の一部又は全部は、以下の付記のように記載され得るが、以下には限定されない。
（付記１）
　補正量（ρ）に基づいて目標値（ｒ）を補正した指令値（ｕ）を出力するコントローラ（１０）と、
　処理対象物に対して所定の処理をするよう制御される制御対象（２０）であって、前記コントローラ（１０）から出力される指令値（ｕ）が入力され、当該指令値（ｕ）の応答として制御量が出力される制御対象（２０）と、
を備える制御系（１）において、
　前記処理対象物の特定のパラメータに基づいて、前記コントローラ（１０）に対して所定の前記補正量（ρ）を出力するように学習された学習済みモデルを含む調整器（３０）に対して、前記学習済みモデルを提供する学習装置（４０）であって、
　前記目標値（ｒ）、前記指令値（ｕ）及び前記制御量（ｙ）を含む動作データに基づいて、補正量候補（ρ*）を生成し、生成した補正量候補（ρ*）と、前記処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新する学習部（４３）と、
　前記生成又は更新された学習済みモデルを、前記調整器（３０）に提供する設定部（４４）と、
を備える学習装置（４０）。
（付記２）
　前記学習部は、データ駆動制御によって前記補正量候補を生成する、
付記１に記載の学習装置。
（付記３）
　前記データ駆動制御は、
　ＶＲＦＴ、ＦＲＩＴ又はＥＲＩＴのいずれかである、
付記２に記載の学習装置（４０）。
（付記４）
　前記学習部（４３）は、
　生成した前記補正量候補（ρ*）が、前記学習済みモデルが学習に用いた教師データに含まれる補正量候補（ρ*）から所定の閾値以上離れた値でない場合、又は、前記学習済みモデルが学習に用いた教師データに含まれる補正量候補（ρ*）の範囲内である場合に、当該補正量候補を教師データとして採用する、
付記１乃至３の何れか一項に記載の学習装置（４０）。
（付記５）
　前記学習済みモデルが出力した補正量（ρ）に基づいて目標値（ｒ）を補正した指令値（ｕ）を、前記制御対象（２０）に与えたときの制御量（ｙ）を含む動作データを取得して、前記制御量の品質を評価する評価部（４２）
をさらに備え、
　前記学習部（４３）は、
　前記品質の評価が、許容範囲に満たない場合に、前記学習を行う、
付記１乃至４の何れか一項に記載の学習装置（４０）。
（付記項６）
　前記学習部（４３）は、
　前記処理対象物の前記特定のパラメータが、前記教師データとしてすでに学習されたパラメータから所定の閾値以上離れた値である場合に前記学習を行う、
付記１乃至５の何れか一項に記載の学習装置（４０）。
（付記７）
　補正量（ρ）に基づいて目標値（ｒ）を補正した指令値（ｕ）を出力するコントローラ（１０）と、
　処理対象物に対して所定の処理をするよう制御される制御対象（２０）であって、前記コントローラ（１０）から出力される指令値（ｕ）が入力され、当該指令値（ｕ）の応答として制御量が出力される制御対象（２０）と、
を備える制御系（１）において、
　前記処理対象物の特定のパラメータに基づいて、前記コントローラ（１０）に対して所定の前記補正量（ρ）を出力するように学習された学習済みモデルを含む調整器（３０）に対して、前記学習済みモデルを提供する学習装置（４０）において実行される学習方法であって、
　前記学習装置（４０）が、
　前記目標値（ｒ）、前記指令値（ｕ）及び前記制御量（ｙ）を含む動作データに基づいて、補正量候補（ρ*）を生成し、生成した補正量候補（ρ*）と、前記処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新するステップと、
　前記生成又は更新された学習済みモデルを、前記調整器（３０）に提供するステップと、
を実行する学習方法。
（付記８）
　補正量（ρ）に基づいて目標値（ｒ）を補正した指令値（ｕ）を出力するコントローラ（１０）と、
　処理対象物に対して所定の処理をするよう制御される制御対象（２０）であって、前記コントローラ（１０）から出力される指令値（ｕ）が入力され、当該指令値（ｕ）の応答として制御量が出力される制御対象（２０）と、
を備える制御系（１）において、
　前記処理対象物の特定のパラメータに基づいて、前記コントローラ（１０）に対して所定の前記補正量（ρ）を出力するように学習された学習済みモデルを含む調整器（３０）に対して、前記学習済みモデルを提供する学習装置（４０）を機能させるプログラムであって、
　前記学習装置（４０）を、
　前記目標値（ｒ）、前記指令値（ｕ）及び前記制御量（ｙ）を含む動作データに基づいて、補正量候補（ρ*）を生成し、生成した補正量候補（ρ*）と、前記処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新する手段（４３）、及び
　前記生成又は更新された学習済みモデルを、前記調整器（３０）に提供する手段（４４）と、
して機能させるプログラム。

Claims (8)

  1. 　補正量に基づいて目標値を補正した指令値を出力するコントローラと、
    　処理対象物に対して所定の処理をするよう制御される制御対象であって、前記コントローラから出力される指令値が入力され、当該指令値の応答として制御量が出力される制御対象と、
    を備える制御系において、
    　前記処理対象物の特定のパラメータに基づいて、前記コントローラに対して所定の前記補正量を出力するように学習された学習済みモデルを含む調整器に対して、前記学習済みモデルを提供する学習装置であって、
    　前記目標値、前記指令値及び前記制御量を含む動作データに基づいて、補正量候補を生成し、生成した補正量候補と、前記処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新する学習部と、
    　前記生成又は更新された学習済みモデルを、前記調整器に提供する設定部と、
    を備える学習装置。
  2. 　前記学習部は、データ駆動制御によって前記補正量候補を生成する、
    請求項１に記載の学習装置。
  3. 　前記データ駆動制御は、ＶＲＦＴ、ＦＲＩＴ又はＥＲＩＴのいずれかである、
    請求項２に記載の学習装置。
  4. 　前記学習部は、
    　生成した前記補正量候補が、前記学習済みモデルが学習に用いた教師データに含まれる補正量候補から所定の閾値以上離れた値でない場合、又は、前記学習済みモデルが学習に用いた教師データに含まれる補正量候補の範囲内である場合に、当該補正量候補を教師データとして採用する、
    請求項１乃至３の何れか一項に記載の学習装置。
  5. 　前記学習済みモデルが出力した補正量に基づいて目標値を補正した指令値を、前記制御対象に与えたときの制御量を含む動作データを取得して、前記制御量の品質を評価する評価部
    をさらに備え、
    　前記学習部は、
    　前記品質の評価が、許容範囲に満たない場合に、前記学習を行う、
    請求項１乃至４の何れか一項に記載の学習装置。
  6. 　前記学習部は、
    　前記処理対象物の前記特定のパラメータが、前記教師データとしてすでに学習されたパラメータから所定の閾値以上離れた値である場合に前記学習を行う、
    請求項１乃至４の何れか一項に記載の学習装置。
  7. 　補正量に基づいて目標値を補正した指令値を出力するコントローラと、
    　処理対象物に対して所定の処理をするよう制御される制御対象であって、前記コントローラから出力される指令値が入力され、当該指令値の応答として制御量が出力される制御対象と、
    を備える制御系において、
    　前記処理対象物の特定のパラメータに基づいて、前記コントローラに対して所定の前記補正量を出力するように学習された学習済みモデルを含む調整器に対して、前記学習済みモデルを提供する学習装置において実行される学習方法であって、
    　前記学習装置が、
    　前記目標値、前記指令値及び前記制御量を含む動作データに基づいて、補正量候補を生成し、生成した補正量候補と、前記処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新するステップと、
    　前記生成又は更新された学習済みモデルを、前記調整器に提供するステップと、
    を実行する学習方法。
  8. 　補正量に基づいて目標値を補正した指令値を出力するコントローラと、
    　処理対象物に対して所定の処理をするよう制御される制御対象であって、前記コントローラから出力される指令値が入力され、当該指令値の応答として制御量が出力される制御対象と、
    を備える制御系において、
    　前記処理対象物の特定のパラメータに基づいて、前記コントローラに対して所定の前記補正量を出力するように学習された学習済みモデルを含む調整器に対して、前記学習済みモデルを提供する学習装置を機能させるプログラムであって、
    　前記学習装置を、
    　前記目標値、前記指令値及び前記制御量を含む動作データに基づいて、補正量候補を生成し、生成した補正量候補と、前記処理対象物の特定のパラメータとを教師データとして学習を行い、学習済みモデルを生成又は更新する手段、及び
    　前記生成又は更新された学習済みモデルを、前記調整器に提供する手段、
    として機能させるプログラム。
PCT/JP2019/008649 2018-03-15 2019-03-05 学習装置、学習方法、及びそのプログラム WO2019176655A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980011798.0A CN111684366B (zh) 2018-03-15 2019-03-05 学习装置、学习方法及其存储介质
US16/968,606 US20200372413A1 (en) 2018-03-15 2019-03-05 Learning device, learning method, and program therefor
EP19768295.8A EP3767401A4 (en) 2018-03-15 2019-03-05 LEARNING DEVICE, LEARNING PROCEDURE AND PROGRAM FOR IT

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-047856 2018-03-15
JP2018047856A JP6519896B1 (ja) 2018-03-15 2018-03-15 学習装置、学習方法、及びそのプログラム

Publications (1)

Publication Number Publication Date
WO2019176655A1 true WO2019176655A1 (ja) 2019-09-19

Family

ID=66655658

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008649 WO2019176655A1 (ja) 2018-03-15 2019-03-05 学習装置、学習方法、及びそのプログラム

Country Status (5)

Country Link
US (1) US20200372413A1 (ja)
EP (1) EP3767401A4 (ja)
JP (1) JP6519896B1 (ja)
CN (1) CN111684366B (ja)
WO (1) WO2019176655A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4151329A4 (en) * 2020-07-10 2023-11-08 JFE Steel Corporation METHOD FOR GENERATING A STEEL PIPE ROUNDNESS PREDICTION MODEL, STEEL PIPE ROUNDNESS PREDICTION METHOD, STEEL PIPE ROUNDNESS CONTROL METHOD, STEEL PIPE MANUFACTURING METHOD AND STEEL PIPE ROUNDNESS PREDICTION APPARATUS

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6536978B1 (ja) * 2018-03-15 2019-07-03 オムロン株式会社 学習装置、学習方法、及びそのプログラム
WO2022003878A1 (ja) * 2020-07-01 2022-01-06 三菱電機株式会社 制御パラメータ調整システム、制御パラメータ調整装置および制御パラメータ調整方法
WO2022009576A1 (ja) * 2020-07-10 2022-01-13 Ｊｆｅスチール株式会社 鋼管の真円度予測方法、鋼管の真円度制御方法、鋼管の製造方法、鋼管の真円度予測モデルの生成方法、及び鋼管の真円度予測装置
EP4151330A4 (en) * 2020-07-10 2023-11-08 JFE Steel Corporation METHOD FOR PREDICTING THE ROUNDNESS OF STEEL TUBES, METHOD FOR PRODUCING STEEL TUBES, METHOD FOR MODEL PREDICTION AND APPARATUS FOR PREDICTING THE ROUNDNESS OF STEEL TUBES
WO2022009575A1 (ja) * 2020-07-10 2022-01-13 Ｊｆｅスチール株式会社 鋼管の真円度予測モデルの生成方法、鋼管の真円度予測方法、鋼管の真円度制御方法、鋼管の製造方法、及び鋼管の真円度予測装置
BR112023020131A2 (pt) * 2021-04-05 2023-11-14 Jfe Steel Corp Método de geração de modelo de previsão de perda de circularidade de tubos de aço, método de previsão de perda de circularidade de tubos de aço, método de controle de perda de circularidade de tubos de aço, método de fabricação de tubos de aço e dispositivo de previsão de perda de circularidade de tubos de aço
BR112023019829A2 (pt) * 2021-04-05 2023-11-07 Jfe Steel Corp Método de previsão de perda de circularidade de tubo de aço, método de controle de perda de circularidade de tubo de aço, método de fabricação de tubo de aço, método de geração de modelo de previsão de perda de circularidade de tubo de aço e dispositivo de previsão de perda de circularidade de tubo de aço

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005211928A (ja) 2004-01-29 2005-08-11 Komatsu Sanki Kk プレスシステム
JP2015018388A (ja) * 2013-07-10 2015-01-29 東芝三菱電機産業システム株式会社 制御パラメータ調整システム
JP2017068658A (ja) * 2015-09-30 2017-04-06 ブラザー工業株式会社 パラメータ更新方法、パラメータ更新装置、及びプログラム
WO2017094424A1 (ja) * 2015-11-30 2017-06-08 オムロン株式会社 制御装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5406474A (en) * 1990-07-16 1995-04-11 The Foxboro Company Self-tuning controller
US7451004B2 (en) * 2005-09-30 2008-11-11 Fisher-Rosemount Systems, Inc. On-line adaptive model predictive control in a process control system
JP6650786B2 (ja) * 2016-03-03 2020-02-19 三菱日立パワーシステムズ株式会社 制御パラメータ自動調整装置、制御パラメータ自動調整方法、及び制御パラメータ自動調整装置ネットワーク
US20170259433A1 (en) * 2016-03-11 2017-09-14 Seiko Epson Corporation Robot control device, information processing device, and robot system
JP6457473B2 (ja) * 2016-12-16 2019-01-23 ファナック株式会社 ロボットおよびレーザスキャナの動作を学習する機械学習装置，ロボットシステムおよび機械学習方法
JP6744208B2 (ja) * 2016-12-27 2020-08-19 株式会社日立製作所 制御装置及び制御方法
JP2018126799A (ja) * 2017-02-06 2018-08-16 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6514257B2 (ja) * 2017-03-29 2019-05-15 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法
US10990877B2 (en) * 2018-01-09 2021-04-27 Adobe Inc. Frame selection based on a trained neural network
US10875189B2 (en) * 2018-02-06 2020-12-29 City University Of Hong Kong System and method for manipulating deformable objects

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005211928A (ja) 2004-01-29 2005-08-11 Komatsu Sanki Kk プレスシステム
JP2015018388A (ja) * 2013-07-10 2015-01-29 東芝三菱電機産業システム株式会社 制御パラメータ調整システム
JP2017068658A (ja) * 2015-09-30 2017-04-06 ブラザー工業株式会社 パラメータ更新方法、パラメータ更新装置、及びプログラム
WO2017094424A1 (ja) * 2015-11-30 2017-06-08 オムロン株式会社 制御装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4151329A4 (en) * 2020-07-10 2023-11-08 JFE Steel Corporation METHOD FOR GENERATING A STEEL PIPE ROUNDNESS PREDICTION MODEL, STEEL PIPE ROUNDNESS PREDICTION METHOD, STEEL PIPE ROUNDNESS CONTROL METHOD, STEEL PIPE MANUFACTURING METHOD AND STEEL PIPE ROUNDNESS PREDICTION APPARATUS

Also Published As

Publication number Publication date
EP3767401A4 (en) 2021-12-08
EP3767401A1 (en) 2021-01-20
CN111684366A (zh) 2020-09-18
US20200372413A1 (en) 2020-11-26
JP2019160016A (ja) 2019-09-19
CN111684366B (zh) 2022-10-21
JP6519896B1 (ja) 2019-05-29

Similar Documents

Publication Publication Date Title
WO2019176655A1 (ja) 学習装置、学習方法、及びそのプログラム
WO2019176772A1 (ja) 学習装置、学習方法、及びそのプログラム
US20220172130A1 (en) Multi-step time series forecasting with residual learning
WO1992014197A1 (en) Model forecasting controller
WO2019176370A1 (ja) 将来状態推定装置および将来状態推定方法
KR102577188B1 (ko) 목표 시스템에 대한 제어 시스템 생성
US11508170B2 (en) Digital handwriting synthesis
US20090012632A1 (en) Operation control method, operation control device, and operation control system
JP6958808B2 (ja) 方策改善プログラム、方策改善方法、および方策改善装置
US20180285317A1 (en) Model generation system and model generation method
CN113609679A (zh) 焊接工艺参数的适配方法、系统、终端设备及存储介质
WO2021176566A1 (ja) 特徴変換装置、画像認識システム、特徴変換方法および非一時的なコンピュータ可読媒体
JP7404723B2 (ja) 制御方法及びコンピュータプログラム
Sun et al. Stability analysis of a controlled mechanical system with parametric uncertainties in LuGre friction model
WO2019142728A1 (ja) 制御装置、制御方法およびプログラム記録媒体
JP7336425B2 (ja) モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム
WO2015083333A1 (ja) 性能予測装置、性能予測方法、及び、コンピュータ・プログラムが格納された記憶媒体
JP7360162B2 (ja) 制御系設計方法及び制御装置
JP2006338673A (ja) 設備を調整するデータ処理システムおよび方法
Minami et al. Two-step reinforcement learning for model-free redesign of nonlinear optimal regulator
WO2022050426A1 (ja) 推定装置、推定方法及びプログラム
JP2021140216A (ja) 制御システム及び制御方法
JPH07191967A (ja) 関数近似装置及び電力需要予測装置
CN118094105A (zh) 基于动态信息的模型增量微调方法、系统、设备及介质
CN117149941A (zh) 词扩展方法、装置、智能终端及计算机可读存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19768295

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2019768295

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2019768295

Country of ref document: EP

Effective date: 20201015