WO2024181534A1 - 制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法 - Google Patents

制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法 Download PDF

Info

Publication number
WO2024181534A1
WO2024181534A1 PCT/JP2024/007548 JP2024007548W WO2024181534A1 WO 2024181534 A1 WO2024181534 A1 WO 2024181534A1 JP 2024007548 W JP2024007548 W JP 2024007548W WO 2024181534 A1 WO2024181534 A1 WO 2024181534A1
Authority
WO
WIPO (PCT)
Prior art keywords
value
control
combinations
variable
manipulated variable
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2024/007548
Other languages
English (en)
French (fr)
Inventor
高史 藤井
正樹 浪江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Publication of WO2024181534A1 publication Critical patent/WO2024181534A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B11/00—Automatic controllers
    • G05B11/01—Automatic controllers electric
    • G05B11/32—Automatic controllers electric with inputs from more than one sensing element; with outputs to more than one correcting element
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Program-control systems
    • G05B19/02—Program-control systems electric
    • G05B19/04—Program control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/05—Programmable logic controllers, e.g. simulating logic interconnections of signals according to ladder diagrams or function charts
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring

Definitions

  • the present disclosure relates to a machine learning device for feedforward control of a control target, a program for generating teacher data, and a method for generating teacher data.
  • JP 4-326101 A discloses a neural network control device equipped with a disturbance occurrence detector that detects disturbances that affect a controlled system and controls the self-learning of a neural network feedforward compensator based on the disturbance detection value.
  • the detection value of a disturbance affecting the controlled system is used for self-learning of a neural network type feedforward compensator.
  • the disturbance affecting the controlled system may include multiple elements. If it is not possible to detect all of these, the self-learning using the detection value of the disturbance cannot extract an accurate relationship between the disturbance, including elements that have not been detected, and the feedforward compensation signal. As a result, the accuracy of prediction of the feedforward compensation signal by the neural network type feedforward compensator may decrease.
  • This disclosure has been made to solve the problems described above, and its purpose is to improve the accuracy of feedforward control of the controlled object.
  • An apparatus is an apparatus for machine learning for a predictive model that predicts a feedforward compensation value of a feedback manipulation variable to a controlled object subjected to a disturbance.
  • the feedback manipulation variable is determined by feedback control of a control device of the controlled object based on an error between a target value and the control variable of the controlled object so that the control variable approaches a target value.
  • the sum of the feedback manipulation variable and the feedforward compensation value is output from the control device to the controlled object as a manipulation variable.
  • the disturbance includes a first element and a second element.
  • the predictive model predicts the feedforward compensation value from a measured value of the first element.
  • the apparatus is equipped with a learning data generation unit.
  • the learning data generation unit identifies a plurality of second combinations including a measurement value and an operation amount based on a comparison between the error and a first reference value from among a plurality of first combinations including a target value, an operation amount corresponding to the target value, a measurement value, and a control amount corresponding to both the measurement value and the operation amount obtained at a plurality of timings, identifies a plurality of first components corresponding to a first element and a plurality of second components corresponding to a second element in the plurality of operation amounts included in each of the plurality of second combinations, and outputs teacher data in which the plurality of first components correspond as correct answers to the plurality of measurement values included in each of the second combinations at a plurality of timings.
  • the correct answer that should correspond to the measured value is not the manipulated variable itself, but the first component of the manipulated variable that corresponds to the measured element that requires feedforward control, which is identified as the feedforward compensation value.
  • an appropriate correct answer is associated with the measured value in the teacher data. Therefore, according to this disclosure, the accuracy of feedforward control for the controlled object can be improved by performing machine learning on the prediction model using the teacher data.
  • the device further includes a learning unit that performs machine learning on the prediction model using teacher data.
  • the learning unit approximates the relationship between the multiple measurement values and the multiple first components expressed by the prediction model as a function with the feedforward compensation value as the objective variable and the measurement value as the explanatory variable, and terminates the machine learning when the ratio of the number of fourth combinations, among the multiple second combinations, whose absolute values of the measurement values are greater than the second reference value to the number of third combinations, among the multiple first combinations, whose absolute values of the measurement values are greater than the second reference value, is greater than the third reference value.
  • training data is selected from the results of feedforward control, so that the predictive model can be adapted in real time to the disturbances and characteristics of the controlled object in parallel with the feedforward control. Furthermore, according to this disclosure, machine learning continues until the accuracy of the predictive model is sufficiently high, so that the accuracy of the feedforward control for the controlled object can be sufficiently improved.
  • the learning unit may resume machine learning when the machine learning is completed and the above ratio is smaller than a third reference value.
  • the predictive model is re-adapted to the characteristics of the controlled object in response to changes in those characteristics, thereby preventing a decrease in the accuracy of feedforward control due to changes in the characteristics of the controlled object.
  • the second element does not have to be measured. According to this disclosure, the cost of sensors and the like required to measure the second element can be reduced.
  • a teacher data generation program is a program for machine learning for a predictive model that predicts a feedforward compensation value of a feedback manipulation amount for a control object that is subjected to a disturbance.
  • the feedback manipulation amount is determined by feedback control of a control device for the control object based on an error between a target value and the control amount of the control object so that the control amount approaches a target value.
  • the sum of the feedback manipulation amount and the feedforward compensation value is output from the control device to the control object as a manipulation amount.
  • the disturbance includes a first element and a second element.
  • the predictive model predicts the feedforward compensation value from the measured value of the first element.
  • the program for generating teacher data is executed by a processor to identify, from among a plurality of first combinations including a target value, an operation amount corresponding to the target value, a measurement value, and a control amount corresponding to both the measurement value and the operation amount, a plurality of second combinations including a measurement value and an operation amount based on a comparison between the error and a first reference value, identify, for the plurality of operation amounts included in each of the plurality of second combinations, a plurality of first components corresponding to a first element and a plurality of second components corresponding to a second element, and output teacher data in which the plurality of first components correspond as correct answers to the plurality of measurement values included in each of the second combinations at the plurality of times.
  • the correct answer to be associated with the measured value is not the manipulated variable itself, but a first component of the manipulated variable that corresponds to the measured element that requires feedforward control, which is identified as the feedforward compensation value.
  • an appropriate correct answer is associated with the measured value in the teacher data. Therefore, according to this disclosure, the accuracy of feedforward control of the control target can be improved by performing machine learning on the prediction model using the teacher data.
  • the invention according to this disclosure can also be realized as a non-transitory computer-readable medium that stores the above program.
  • a method for generating teacher data is a method for machine learning for a predictive model that predicts a feedforward compensation value of a feedback manipulation variable for a control object that is subjected to a disturbance.
  • the feedback manipulation variable is determined by feedback control of a control device for the control object based on an error between a target value and the control variable of the control object so that the control variable approaches a target value.
  • the sum of the feedback manipulation variable and the feedforward compensation value is output from the control device to the control object as a manipulation variable.
  • the disturbance includes a first element and a second element.
  • the predictive model predicts the feedforward compensation value from the measured value of the first element.
  • the method for generating teacher data includes: identifying, based on a comparison between an error and a first reference value, a plurality of second combinations including a measurement value and an operation amount from among a plurality of first combinations including a target value, an operation amount corresponding to the target value, a measurement value, and a control amount corresponding to both the measurement value and the operation amount, which are obtained at a plurality of timings; identifying, for the plurality of operation amounts included in each of the plurality of second combinations, a plurality of first components corresponding to a first element and a plurality of second components corresponding to a second element; and outputting teacher data in which the plurality of first components correspond as correct answers to the plurality of measurement values included in each of the second combinations at a plurality of timings.
  • the correct answer that should correspond to the measured value is not the manipulated variable itself, but the first component of the manipulated variable that corresponds to the measured element that requires feedforward control, which is identified as the feedforward compensation value.
  • an appropriate correct answer is associated with the measured value in the teacher data. Therefore, according to this disclosure, the accuracy of feedforward control for the controlled object can be improved by performing machine learning on the prediction model using the teacher data.
  • the device, teacher data generation program, and teacher data generation method disclosed herein can improve the accuracy of feedforward control of a control target.
  • FIG. 2 is a block diagram showing a functional configuration of a control device according to the first embodiment
  • FIG. FIG. 1 is a Venn diagram showing the inclusion relationships of four data sets each containing four combinations.
  • 11A to 11C are diagrams showing time charts of disturbances, measured values, manipulated variables, and controlled variables during a trial period when a predictive model has not yet been learned.
  • 4 is a diagram showing measurement values, manipulated variables, and controlled variables obtained during the trial period shown in FIG. 3 when the absolute value of the error is smaller than a reference value.
  • FIG. 11 is a diagram for explaining a process of dividing an operation amount into a measured component and a non-measured component.
  • FIG. 5(b) is a plot of points identified by the measurement values in FIG. 4 and the feedforward compensation values in FIG.
  • FIG. 13 is a diagram for explaining a process of deriving a prediction function based on two data sets obtained in two trial periods.
  • FIG. 13 is a diagram showing how the control amount is improved by increasing the number of trials for acquiring training data.
  • FIG. 2 is a flowchart showing the flow of processing performed by each of a feedback control system, a feedforward control system, a learning data generating unit, and a learning unit in FIG. 1 .
  • 10 is a flowchart showing a specific process flow of the learning data generation process of FIG. 9 .
  • 10 is a flowchart showing a specific process flow of the machine learning process in FIG. 9 .
  • FIG. 3 is a diagram showing a flow of additional learning processing performed by a learning unit in FIG. 2;
  • FIG. 2 is a block diagram showing a functional configuration of a control device according to a first modified example of the first embodiment.
  • FIG. 11 is a block diagram showing a functional configuration of a control system according to a second embodiment.
  • FIG. 13 is a schematic diagram showing an example of a network configuration of a control system according to a third embodiment.
  • 16 is a block diagram showing an example of a hardware configuration of the control device shown in FIG. 15 .
  • Fig. 1 is a block diagram showing a functional configuration of a control device 100 according to embodiment 1.
  • the control device 100 includes a feedback control unit 110, a feedforward compensation unit 120, a learning data generation unit 130, a storage unit 140, a subtractor 150, an adder 160, and a learning unit 170.
  • the control device 100 outputs the sum of the feedback operation amount rb and the feedforward compensation value rf to the control object 200 as the operation amount r to the control object 200 so that the control amount q, which is the output value of the control object 200 subjected to the disturbance ds, approaches the target value qr.
  • the memory unit 140 stores the prediction model Mp and the teacher data Dt.
  • the control device 100 and the control object 200 are connected via a network (for example, the Internet or a cloud system) and may be located remotely from each other. Examples of machine learning algorithms for constructing the prediction model Mp include a deep binary tree or a support vector machine.
  • the disturbance ds is a quantity that disturbs the state of a control system including the control device 100 and the controlled object 200.
  • the disturbance ds includes multiple disturbance elements, including, for example, the amount of light, voltage, current, and temperature that are accidentally or suddenly input to the controlled object.
  • the disturbance element that is measured by a measuring device such as a sensor is referred to as the measured element dsk (first element), and the disturbance element that is not measured is referred to as the non-measured element dsu (second element).
  • the measured value of the measured element dsk is referred to as do.
  • the multiple disturbance elements included in the disturbance ds can be determined as multiple factors that are expected to affect the quality characteristic value (control amount q) of the control object 200 based on previously obtained knowledge such as a characteristic factor diagram of the target device of the control object 200.
  • a factor that causes a relatively large fluctuation in the control amount q in a reference time interval for feedback control is set as a measured element dsk
  • a factor that causes a relatively small fluctuation in the control amount q or an unknown factor is set as a non-measured element dsu.
  • the fluctuation of the control amount q based on the measured element in the reference time interval is larger than the fluctuation of the control amount q based on the non-measured element in the reference time interval.
  • a factor that causes a steep or discontinuous fluctuation in the control amount q that is difficult to follow with feedback control is set as the measured element dsk.
  • feedforward control for the measured element dsk which can prepare for steep fluctuations in advance.
  • non-measured elements dsu factors that cause gradual or continuous fluctuations in the controlled variable q that can be tracked by feedback control (for example, the temperature around the controlled object, or the thermal expansion of the controlled object due to processing heat) are considered to be non-measured elements dsu. Since non-measured elements dsu can be tracked by feedback control, there is a relatively low need to perform feedforward control. Note that such factors may be considered to be non-measured elements in order to reduce the cost of sensors and the like required to measure them.
  • the configuration including the feedback control unit 110 and the subtractor 150 will also be referred to as the feedback control system
  • the configuration including the feedforward compensation unit 120 and the adder 160 will also be referred to as the feedforward control system.
  • the feedback control unit 110 determines the feedback control variable rb based on the error eq and outputs it to the adder 160.
  • the feedforward compensation unit 120 predicts the feedforward compensation value rf from the measured value do using the prediction model Mp and outputs it to the adder 160.
  • the adder 160 outputs the sum of the feedback control variable rb and the feedforward compensation value rf as the controlled variable r to the control object 200 and the learning data generation unit 130.
  • the learning data generating unit 130 generates teacher data Dt used in machine learning for the prediction model Mp.
  • the learning data generating unit 130 obtains a plurality of combinations Cm1 (first combinations) including a target value qr, an operation amount r corresponding to the target value qr, a measurement value do, and a control amount q corresponding to both the measurement value do and the operation amount r at a plurality of timings.
  • the learning data generating unit 130 identifies a plurality of combinations Cm2 (second combinations) including the measurement value do and the operation amount r when the absolute value of the error eq is smaller than a reference value ⁇ (first reference value) (when high-precision control is performed on the control object 200).
  • the reference value ⁇ can be appropriately determined based on, for example, an actual machine experiment, a simulation, a product specification value, or a management value of a certain manufacturing process.
  • the learning data generating unit 130 identifies a plurality of measurement components (first components) corresponding to the measurement element dsk and a plurality of non-measurement components (second components) corresponding to the non-measurement element dsu in the plurality of operation amounts r included in each of the plurality of combinations Cm2.
  • the measurement components and the non-measurement components correspond to the feedforward compensation value rf and the feedback operation amount rb, respectively.
  • the learning data generating unit 130 outputs the teacher data Dt in which the plurality of measurement components (correct answers) correspond to the plurality of measurement values do, respectively, to the storage unit 140.
  • the teacher data Dt is stored in the storage unit 140, classified for each trial period for acquiring a set of learning data (data set).
  • the learning data generating unit 130 may output the teacher data Dt directly to the learning unit 170.
  • the learning unit 170 approximates the relationship between the measurement value do and the feedforward compensation value rf (measurement component) as a function (regression curve or regression surface) with the feedforward compensation value rf as the objective variable and the measurement value do as the explanatory variable.
  • the prediction model Mp includes this function.
  • the learning unit 170 determines that the number of timings at which high-precision control is performed on the control target 200 has increased to a desired level even if the measurement component of the disturbance ds is relatively large, and terminates machine learning for the prediction model Mp.
  • the reference value ⁇ may be determined as the maximum absolute value of the measurement value do when the control system is in a steady state.
  • the reference value ⁇ can be determined appropriately based on, for example, actual equipment experiments, simulations, product specifications, or manufacturing process control values.
  • the learning unit 170 determines that the characteristics of the control object 200 have changed and resumes machine learning (additional learning) for the prediction model Mp.
  • the reference value ⁇ can be determined appropriately based on, for example, actual machine experiments, simulations, product specifications, or management values for a certain manufacturing process.
  • the characteristics of the control object 200 include, for example, the correspondence between the measured value d o and the manipulated variable r and the controlled variable q.
  • FIG. 2 is a Venn diagram showing the inclusion relationship of four data sets Scm1, Scm2, Scm3, and Scm4, each of which includes four combinations Cm1 to Cm4.
  • Data set Scm1 is a data set that includes all of the combinations Cm1 including the target value qr, the operation amount r, the measurement value do, and the control amount q.
  • Data set Scm2 is a data set that includes all of the combinations Cm2 of data set Scm1 including the measurement value do and the operation amount r when the absolute value of the error eq is smaller than the reference value ⁇ .
  • Data set Scm3 is a data set that includes all of the combinations Cm3 of data set Scm1 when the absolute value of the measurement value do is larger than the reference value ⁇ .
  • Data set Scm4 is a data set that includes all of the combinations Cm4 of data set Scm2 where the absolute value of the measurement value do is larger than the reference value ⁇ . As shown in FIG. 5, data set Scm1 includes data sets Scm2 and Scm3. Dataset Scm4 is the intersection (intersection) of datasets Scm2 and Scm3.
  • the correct answer to be made to correspond to the measurement value do among the operation amount r included in the feedforward control result is not the operation amount r itself, but the measurement component to correspond to the measurement element dsk that requires feedforward control, which is specified as the feedforward compensation value rf.
  • the control device 100 since an appropriate correct answer is associated with the measurement value do in the teacher data Dt, the accuracy of the feedforward control for the control object 200 can be improved by performing machine learning on the prediction model Mp using the teacher data Dt.
  • the prediction model Mp can be adapted in real time to the measurement value do and the characteristics of the control object 200 in parallel with the feedforward control.
  • the accuracy of the feedforward control for the control object 200 can be sufficiently improved. Furthermore, since the prediction model Mp is re-adapted to the characteristics according to the change in the characteristics of the control object 200, the deterioration of the accuracy of the feedforward control due to the change in the characteristics of the control object 200 can be suppressed.
  • FIG. 3 is a diagram showing time charts of disturbance ds, measurement value do, operation amount r, and control amount q during a trial period when the prediction model Mp has not yet been learned. 8,000 pieces of data acquired over 6,400 seconds are plotted in FIG. 3. As shown in FIG. 3, the measurement element dsk and the measurement value do change more abruptly at each of times t1, t2, t3, and t4 (t1 ⁇ t2 ⁇ t3 ⁇ t4) than in other time periods, and form a nearly flat step-like graph in other time periods. The non-measurement element dsu changes uniformly and continuously to form a linear graph.
  • the operation amount r changes abruptly at each of times t1, t2, t3, and t4, similar to the measurement element dsk, and changes continuously at other time periods, similar to the non-measurement element dsu. Spike-like noise occurs in the control amount q at each of times t1, t2, t3, and t4.
  • FIG. 4 shows the measurement value do, the operation amount r, and the control amount q obtained during the trial period shown in FIG. 3 when the absolute value of the error eq is smaller than the reference value ⁇ .
  • FIG. 5 is a diagram for explaining the process of dividing the operation amount r into a measured component and a non-measured component.
  • the operation amount r in FIG. 5(a) corresponds to the operation amount r in FIG. 4
  • the operation amount r in FIG. 5(d) corresponds to the operation amount r in FIG. 3.
  • the sample numbers on the horizontal axis in FIG. 4 and FIG. 5 are numbers assigned in the order in which the data was obtained. The same applies to FIG. 8, which will be explained later.
  • the difference in (b) is the value (r n+1 -r n ) obtained by subtracting the nth operation amount r n from the n+1th operation amount r n+1 in (a).
  • outliers ot1, ot2, ot3, and ot4 are detected at times t1 to t4, respectively.
  • Each of the outliers ot1 to ot4 is a difference having an absolute value (
  • (c) plots the non-measured components extracted by performing offset processing on each of the multiple data shown in (a).
  • the offset processing the sum of outliers corresponding to the time of measurement is subtracted from each of the multiple data.
  • the outlier subtracted from the operation amount r from time 0 (start of measurement) to time t1 is ot0.
  • the outlier subtracted from the operation amount r from time t1 to t2 is the sum of ot0 and ot1.
  • the outlier subtracted from the operation amount r from time t2 to t3 is the sum of ot0 to ot2.
  • the outlier subtracted from the operation amount r from time t3 to t4 is the sum of ot0 to ot3.
  • the outlier subtracted from the operation amount r after time t4 is the sum of ot0 to ot4.
  • the non-measured components of the operation amount r are operation amounts determined by feedback control to correspond to the non-measured element dsu. Therefore, the unmeasured component of the manipulated variable r that is approximated as a function in this way is shown as the feedback manipulated variable rb in (d).
  • the manipulated variable r is the sum of the feedback manipulated variable rb and the feedforward compensation value rf. Therefore, in (d), the feedforward compensation value rf is derived by subtracting the feedback manipulated variable rb from the manipulated variable r.
  • FIG. 6 is a diagram in which points identified by the measurement value do in FIG. 4 and the feedforward compensation value rf in FIG. 5(d), which have the same sample number (measurement time), are plotted.
  • FIG. 6 by regression analysis based on the plotted multiple points (teacher data), the correspondence between the measurement value do and the feedforward compensation value rf is approximated as a prediction function Fn1 having the measurement value do and the feedforward compensation value rf as explanatory variables and objective variables, respectively.
  • a machine learning algorithm such as Gaussian process regression can be used to approximate the correspondence between the measurement value do and the feedforward compensation value rf as a function.
  • FIG. 7 is a diagram for explaining the process of deriving the prediction function Fn12 based on two data sets acquired in two trial periods Tp1 and Tp2.
  • the feedforward compensation value rf of the point (teacher data) derived in each of the trial periods Tp1 and Tp2 is subtracted by an offset value to be used as new teacher data, and the prediction function Fn12 is derived.
  • the offset value may also be determined using the measurement value do12 included in the overlapping range Rg of the prediction functions Fn1 and Fn2 corresponding to the trial periods Tp1 and Tp2, respectively.
  • the absolute value of the difference between the average value rfa of the feedforward compensation values rf1 and rf2 corresponding to the measurement value do12 in the prediction functions Fn1 and Fn2 and the feedforward compensation value rf1 or rf2 (half the difference between the feedforward compensation values rf1 and rf2) can be used as the offset value.
  • the offset value may also be determined so that the sum of the offset values for all points included in the two trial periods Tp1 and Tp2 is minimized.
  • FIG. 8 is a diagram showing how the control quantity q improves by increasing the number of trials for acquiring teacher data.
  • spike-like noise occurs at times t11, t12, t13, and t14 in the first trial period.
  • the magnitude of the spike-like noise occurring at times t21, t22, t23, and t24 in the second trial period and the magnitude of the spike-like noise occurring at times t31, t32, t33, and t34 in the third trial period are smaller than the magnitude of the spike-like noise occurring at times t11, t12, t13, and t14 in the first trial period.
  • FIG. 9 is a diagram showing a flowchart illustrating the flow of processing performed by each of the feedback control system, the feedforward control system, the learning data generation unit 130, and the learning unit 170 in FIG. 1.
  • the routines corresponding to the flowcharts of the feedback control system and the feedforward control system are executed, for example, at each sampling time.
  • the routines corresponding to the flowcharts of the learning data generation unit 130 and the learning unit 170 are executed, for example, in response to the first execution of the routines corresponding to the flowcharts of the feedforward control system. Below, steps are simply abbreviated as S.
  • the subtractor 150 calculates the error eq between the target value qr and the controlled variable q, and outputs it to the feedback control unit 110.
  • the feedback control unit 110 determines the feedback control variable rb based on the error eq, outputs it to the adder 160, and ends the process.
  • the feedforward compensation unit 120 determines a feedforward compensation value rf from the measurement value do and outputs it to the adder 160.
  • the adder 160 outputs the sum of the feedback control amount rb and the feedforward compensation value rf as the control amount r to the control object 200 and the learning data generation unit 130, and ends the process.
  • the training data generation unit 130 generates training data Dt in S130 and ends the process.
  • the learning unit 170 performs machine learning on the prediction model Mp using the training data Dt in S170 and ends the process.
  • the learning data generation unit 130 acquires a plurality of combinations Cm1 at a plurality of timings, and proceeds to S132.
  • the learning data generation unit 130 identifies a plurality of combinations Cm2 including the measurement value do and the operation amount r when the absolute value of the error eq is smaller than the reference value ⁇ , from among the plurality of combinations Cm1, and proceeds to S133.
  • the learning data generation unit 130 identifies a plurality of measurement components corresponding to the measurement element dsk and a plurality of non-measurement components corresponding to the non-measurement element dsu in the plurality of operation amounts r included in each of the plurality of combinations Cm2, and proceeds to S134.
  • the learning data generation unit 130 outputs teacher data Dt in which multiple measurement components (feedforward compensation values rf) correspond to multiple measurement values do included in the combinations Cm2 at multiple timings as correct answers, and ends the process.
  • FIG. 11 is a flowchart showing a specific process flow of the machine learning process S170 of FIG. 9.
  • the learning unit 170 acquires newly added teacher data Dt and proceeds to S172.
  • the learning unit 170 approximates the relationship between the measurement value do expressed by the prediction model Mp and the feedforward compensation value rf as a measurement component of the operation amount r as a function (regression curve) with the feedforward compensation value rf as the objective variable and the measurement value do as the explanatory variable, and proceeds to S173.
  • the learning unit 170 determines whether the ratio Cr is greater than the reference value ⁇ . If the ratio Cr is equal to or less than the reference value ⁇ (NO in S174), the learning unit 170 determines that the accuracy of the feedforward control of the control object 200 is insufficient, and returns the process to S171. If the ratio Cr is greater than the reference value ⁇ (YES in S174), the learning unit 170 determines that the accuracy of the feedforward control of the control object 200 has increased sufficiently, and ends the machine learning.
  • FIG. 12 is a diagram showing the flow of additional learning processing performed by the learning unit 170 of FIG. 2.
  • the processing shown in FIG. 12 is executed at each sampling time, for example, after the initial machine learning is started.
  • the learning unit 170 determines whether the machine learning is finished and the ratio Cr is equal to or less than the reference value ⁇ . If the machine learning is not finished or the ratio Cr is greater than the reference value ⁇ (NO in S171A), the learning unit 170 determines that the characteristics of the control object 200 have not changed and the existing learned prediction model Mp is adapted to the control object 200, and ends the processing.
  • the learning unit 170 determines that the characteristics of the control object 200 have changed after the previous machine learning is finished, and resumes machine learning on the prediction model Mp in S170 similar to FIG. 9 in order to re-adapt the prediction model Mp to the characteristics of the control object 200. According to the control device 100, additional learning is performed on the prediction model Mp in response to changes in the characteristics of the control object 200, so that a decrease in the accuracy of feedforward control due to changes in the characteristics of the control object 200 can be suppressed.
  • FIG. 13 is a block diagram showing the functional configuration of control device 100A according to variation 1 of embodiment 1.
  • Control device 100A has a configuration in which subtractor 150 and feedback control unit 110 are removed from control device 100 in FIG. 1. Since the rest of the configuration is similar, the description of the similar configuration will not be repeated. Note that adder 160 does not have to be included in control device 100A.
  • the control device 100A determines a feedforward compensation value rf of the feedback operation amount rb to the control object 200 such that the control amount q of the control object 200 receiving the measurement value do approaches a target value qr.
  • the existing feedback control system can be easily expanded into a feedforward control system and a control system including a learning function.
  • the device and the method for generating teacher data according to the first embodiment and the first modification can improve the accuracy of feedforward control of the control object.
  • FIG. 14 is a block diagram showing the functional configuration of a control system 2 according to embodiment 2.
  • components with the same reference symbols as those in FIG. 1 have the same functions as the components identified by the reference symbols described in embodiment 1, and therefore the description of the similar components will not be repeated.
  • the control system 2 includes a feedback control device 11, a feedforward compensation device 12, a learning data generation device 13, a storage device 14, and a learning device 17.
  • the learning data generation device 13, the storage device 14, and the learning device 17 correspond to the learning data generation unit 130, the storage unit 140, and the learning unit 170 in FIG. 1, respectively.
  • the feedback control device 11 includes a feedback control unit 110 and a subtractor 150.
  • the feedforward compensation device 12 includes a feedforward compensation unit 120 and an adder 160.
  • the feedback control device 11, the feedforward compensation device 12, the learning data generation device 13, the storage device 14, the learning device 17, and the control target 200 may be connected to each other via a network and may be located remotely from each other.
  • the adder 160 may be included in the feedback control device 11, not in the feedforward compensation device 12.
  • an existing control system can be easily expanded by adding a feedforward compensation device, a learning data generation device, and a learning device to the existing feedback control device while leaving the existing feedback control device in place.
  • the device and method for generating teacher data according to the second embodiment can improve the accuracy of feedforward control of the control object.
  • Fig. 15 is a schematic diagram showing an example of a network configuration of a control system 3 according to embodiment 3.
  • the control system 3 includes a device group in which a plurality of devices are configured to be able to communicate with each other.
  • the devices may include a control device 300 that is a processing entity that executes a control program, and peripheral devices connected to the control device 300.
  • the control device 300 has a functional configuration similar to that of the control device 100 shown in Fig. 1.
  • the control device 300 corresponds to an industrial controller that controls control targets such as various facilities or devices.
  • the control device 300 is a type of computer that executes control calculations, and typically includes a PLC (Programmable Logic Controller).
  • the control device 300 is connected to a field device 200C via a field network 20.
  • the control device 300 exchanges data with at least one field device 200C via the field network 20.
  • the control calculations executed in the control device 300 include a process of collecting data collected or generated in the field device 200C, a process of generating data such as a command value (operation amount) for the field device 200C, and a process of transmitting the generated output data to the target field device 200C.
  • the data collected or generated in the field device 200C includes data on disturbances input to the field device 200C, and a control amount resulting from the actual operation of the field device 200C in accordance with the command value.
  • the command value for the field device 200C is determined by adding a feedforward compensation value predicted from the disturbance by a prediction model to a manipulation amount provisionally calculated based on the error between a control target value (target value) calculated based on the control program executed by the control device 300 and the actual control amount.
  • the field network 20 preferably employs a bus or network that performs periodic communication.
  • Known examples of such buses or networks that perform periodic communication include EtherCAT (registered trademark), EtherNet/IP (registered trademark), DeviceNet (registered trademark), and CompoNet (registered trademark).
  • EtherCAT registered trademark
  • EtherNet/IP registered trademark
  • DeviceNet registered trademark
  • CompoNet registered trademark
  • the field device 200C includes an actuator that exerts some kind of physical action on a robot or conveyor in the field, and an input/output device that exchanges information with the field.
  • the field device 200C includes a plurality of servo drivers 220_1 and 220_2, and a plurality of servo motors 222_1 and 222_2 connected to the plurality of servo drivers 220_1 and 220_2, respectively.
  • the field device 200C is an example of a "control target.”
  • Servo drivers 220_1 and 220_2 drive corresponding servo motors of servo motors 222_1 and 222_2 according to command values (such as position command values or speed command values) from control device 300. In this way, control device 300 can control field device 200C.
  • command values such as position command values or speed command values
  • the control device 300 is also connected to other devices via a higher-level network 32.
  • the higher-level network 32 is connected to the Internet 900, which is an external network, via a gateway 700.
  • the higher-level network 32 may use Ethernet (registered trademark) or EtherNet/IP (registered trademark), which are common network protocols. More specifically, at least one server device 600 and at least one display device 500 may be connected to the higher-level network 32.
  • the server device 600 may be a database system or a manufacturing execution system (MES).
  • the manufacturing execution system acquires information from the controlled manufacturing device or facility to monitor and manage the entire production, and may also handle order information, quality information, shipping information, and the like.
  • a device that provides an information system service may be connected to the upper network 32.
  • An example of an information system service is processing that acquires information from the controlled manufacturing device or facility and performs macro or micro analysis.
  • an example of an information system service is data mining that extracts some characteristic tendency contained in information from the controlled manufacturing device or facility, or a machine learning tool that performs machine learning based on information from the controlled facility or machine.
  • the display device 500 receives operations from the user and outputs commands to the control device 300 in response to the user operations, and also graphically displays the results of calculations performed by the control device 300.
  • the support device 400 can be connected to the control device 300.
  • the support device 400 may be connected to the control device 300 via the higher-level network 32 or the Internet 900.
  • the support device 400 is a device that assists the control device 300 in making the necessary preparations to control the control target.
  • the support device 400 provides a development environment (program creation and editing tools, parsers, compilers, etc.) for programs executed by the control device 300, a setting environment for setting configuration information (configuration) for the control device 300 and various devices connected to the control device 300, a function for outputting the generated program to the control device 300, and a function for modifying and changing the program executed on the control device 300 online.
  • control device 300 the control device 300, the support device 400, and the display device 500 are each configured as separate entities, but a configuration may be adopted in which all or part of these functions are integrated into a single device.
  • the control device 300 is not limited to being used at one production site, but may also be used at other production sites. It may also be used at multiple different lines at one production site.
  • Fig. 16 is a block diagram showing an example of a hardware configuration of the control device 300 in Fig. 15.
  • the control device 300 includes a processor 302, a main memory 304, a storage 360, a memory card interface 312, a host network controller 306, a field network controller 308, a local bus controller 316, and a Universal Serial Bus (USB) controller 370 that provides a USB interface.
  • a processor bus 318 the control device 300 includes a main memory 304, a storage 360, a memory card interface 312, a host network controller 306, a field network controller 308, a local bus controller 316, and a Universal Serial Bus (USB) controller 370 that provides a USB interface.
  • USB Universal Serial Bus
  • the processor 302 corresponds to a calculation processing unit that executes control calculations, and is composed of a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit), etc. Specifically, the processor 302 reads out a program stored in the storage 360, expands it in the main memory 304, and executes it to realize control calculations for a control target.
  • a CPU Central Processing Unit
  • GPU Graphics Processing Unit
  • the main memory 304 is composed of a volatile storage device such as a dynamic random access memory (DRAM) and/or a static random access memory (SRAM).
  • the storage 360 is composed of a non-volatile storage device such as a solid state drive (SSD) and/or a hard disk drive (HDD).
  • Storage 360 stores control program Pc, teacher data Dt, and prediction model Mp. Storage 360 corresponds to memory unit 140 in FIG. 1.
  • Control program Pc includes a program for comprehensively controlling control device 300 and realizing each function of control device 300.
  • processor 302 that executes control program Pc corresponds to the feedback control system (feedback control unit 110 and subtractor 150), feedforward control system (feedforward compensation unit 120 and adder 160), learning data generation unit 130, and learning unit 170 in FIG. 1.
  • the memory card interface 312 accepts a memory card 314, which is an example of a removable storage medium.
  • the memory card interface 312 is capable of reading and writing any data to the memory card 314.
  • the upper network controller 306 exchanges data with any information processing device connected to the upper network 32 (e.g., a local area network) via the upper network 32.
  • the upper network 32 e.g., a local area network
  • the field network controller 308 exchanges data with any device, such as servo motors 222_1 and 222_2, via the field network 20.
  • the local bus controller 316 exchanges data with any of the functional units 380 constituting the control device 300 via the local bus 122.
  • the functional units 380 include, for example, an analog I/O unit responsible for input and/or output of analog signals, a digital I/O unit responsible for input and/or output of digital signals, and a counter unit that receives pulses from an encoder or the like.
  • the USB controller 370 exchanges data with any information processing device via a USB connection.
  • the support device 400 is connected to the USB controller 370.
  • the device, teacher data generation program, and teacher data generation method according to the third embodiment can improve the accuracy of feedforward control of a control target.
  • the feedback manipulated variable (rb) is determined by feedback control of a control device of the controlled object based on an error (eq) between a target value (qr) and a controlled variable (q) of the controlled object (200) so that the controlled variable (q) approaches the target value (qr);
  • the sum of the feedback operation amount (rb) and the feedforward compensation value (rf) is output from the control device to the control target (200) as an operation amount (r);
  • the disturbance (ds) includes a first element (dsk) and a second element (dsu),
  • the prediction model (Mp) predicts the feedforward compensation value (rf) from the measurement value (do) of the first element (dsk),
  • the device (100) includes a learning
  • [Configuration 2] A learning unit that performs the machine learning on the prediction model (Mp) using the teacher data (Dt),
  • the learning unit (170) The relationship between the plurality of measurement values (do) and the plurality of first components (rf), which is expressed by the prediction model (Mp), is approximated as a function having the feedforward compensation value (rf) as a response variable and the measurement values (do) as explanatory variables;
  • the device (100) described in configuration 1 terminates the machine learning when a ratio of a number of fourth combinations (Cm2) in which the absolute value of the measurement value (do) is greater than the second reference value to a number of third combinations (Cm1) in which the absolute value of the measurement value (do) is greater than the second reference value is greater than a third reference value.
  • the feedback manipulated variable (rb) is determined by feedback control of a control device of the controlled object based on an error (eq) between a target value (qr) and a controlled variable (q) of the controlled object (200) so that the controlled variable (q) approaches the target value (qr);
  • the sum of the feedback operation amount (rb) and the feedforward compensation value (rf) is output from the control device to the control target (200) as an operation amount (r);
  • the disturbance (ds) includes a first element (dsk) and a second element (dsu),
  • the prediction model (Mp) predicts the feedforward compensation value (rf) from the measurement value (do) of the first element (dsk),
  • the program for generating teacher data is executed
  • the feedback manipulated variable (rb) is determined by feedback control of a control device of the controlled object based on an error (eq) between a target value (qr) and a controlled variable (q) of the controlled object (200) so that the controlled variable (q) approaches the target value (qr);
  • the sum of the feedback operation amount (rb) and the feedforward compensation value (rf) is output from the control device to the control target (200) as an operation amount (r);
  • the disturbance (ds) includes a first element (dsk) and a second element (dsu),
  • the prediction model (Mp) predicts the feedforward compensation value (rf) from the measurement value (do) of the first element (dsk),
  • the method further includes a method of performing the machine learning on the prediction model (Mp) using the teacher data (Dt) to generate a trained model
  • the method for generating the trained model includes: A step of approximating a relationship between the plurality of measurement values (do) and the plurality of first components (rf), which is expressed by the prediction model (Mp), as a function having the feedforward compensation value (rf) as a response variable and the measurement values (do) as explanatory variables; and terminating the machine learning when a ratio of a number of fourth combinations (Cm2) in which the absolute value of the measurement value (do) is greater than the second reference value to a number of third combinations (Cm1) in which the absolute value of the measurement value (do) is greater than the second reference value is greater than a third reference value.
  • Cm2 a number of fourth combinations
  • Cm1 third combinations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Feedback Control In General (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Programmable Controllers (AREA)

Abstract

制御対象に対するフィードフォワード制御の精度を向上させる。装置（１００）は、複数の第１組合せのうち、誤差（ｅｑ）と第１基準値との比較に基づいて、計測値（ｄｏ）と操作量（ｒ）とを含む複数の第２組合せをそれぞれ特定し、複数の第２組合せにそれぞれ含まれる複数の操作量（ｒ）において、第１要素（ｄｓｋ）に対応するための複数の第１成分（ｒｆ）と、第２要素（ｄｓｕ）に対応するための複数の第２成分（ｒｂ）とをそれぞれ特定し、複数のタイミングにおける第２組合せにそれぞれ含まれる複数の計測値（ｄｏ）に複数の第１成分（ｒｆ）を正解としてそれぞれ対応させた教師データ（Ｄｔ）を出力する。

Description

制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法
　本開示は、制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法に関する。
　従来、制御対象に対してフィードフォワード制御を行なう構成が知られている。たとえば、特開平４－３２６１０１号公報（特許文献１）には、被制御系に影響を及ぼす外乱を検出しその外乱検出値によってニューラルネットワーク型フィードフォワード補償器の自己学習を制御する外乱発生検知器を備えるニューラルネットワーク制御装置が開示されている。
特開平４－３２６１０１号公報
　特許文献１に開示されている構成においては、被制御系に影響を及ぼす外乱の検出値がニューラルネットワーク型フィードフォワード補償器の自己学習に使用される。この点、被制御系に影響を及ぼす外乱には、複数の要素が含まれる場合がある。これらをすべて検出することができない場合、外乱の検出値が用いられる自己学習によっては、検出されていない要素を含む外乱とフィードフォワード補償信号との正確な関係性を抽出することができない。その結果、ニューラルネットワーク型フィードフォワード補償器によるフィードフォワード補償信号の予測の精度が低下し得る。
　本開示は上記のような課題を解決するためになされたものであり、その目的は、制御対象に対するフィードフォワード制御の精度を向上させることである。
　本開示の一局面に係る装置は、外乱を受ける制御対象へのフィードバック操作量のフィードフォワード補償値を予測する予測モデルに対する機械学習のための装置である。フィードバック操作量は、目標値と制御対象の制御量との誤差に基づいて、制御量が目標値に近づくように制御対象の制御装置のフィードバック制御によって決定される。フィードバック操作量およびフィードフォワード補償値の和が、操作量として制御対象に制御装置から出力される。外乱は、第１要素と、第２要素とを含む。予測モデルは、第１要素の計測値からフィードフォワード補償値を予測する。装置は、学習データ生成部を備える。学習データ生成部は、複数のタイミングにおいて取得された、目標値と、目標値に対応する操作量と、計測値と、計測値および操作量の両方に対応する制御量とを含む複数の第１組合せのうち、誤差と第１基準値との比較に基づいて、計測値と操作量とを含む複数の第２組合せをそれぞれ特定し、複数の第２組合せにそれぞれ含まれる複数の操作量において、第１要素に対応するための複数の第１成分と、第２要素に対応するための複数の第２成分とをそれぞれ特定し、複数のタイミングにおける第２組合せにそれぞれ含まれる複数の計測値に複数の第１成分を正解としてそれぞれ対応させた教師データを出力する。
　この開示によれば、フィードフォワード制御の結果に含まれる操作量のうち、計測値に対応させるべき正解として、操作量そのものではなく、操作量のうちフィードフォワード制御が必要な計測要素に対応するための第１成分がフィードフォワード補償値として特定される。その結果、教師データにおいて計測値に対して適切な正解が関連付けられる。そのため、この開示によれば、教師データを用いて予測モデルに対して機械学習を行うことにより、制御対象に対するフィードフォワード制御の精度を向上させることができる。
　上記の開示において、装置は、教師データを用いて予測モデルに対して機械学習を行う学習部をさらに備える。学習部は、予測モデルによって表現される、複数の計測値と複数の第１成分との関係を、フィードフォワード補償値を目的変数とするとともに、計測値を説明変数とする関数として近似し、複数の第１組合せのうち計測値の絶対値が第２基準値より大きい第３組合せの数に対する、複数の第２組合せのうち計測値の絶対値が第２基準値より大きい第４組合せの数の割合が第３基準値より大きい場合、機械学習を終了する。
　この開示によれば、フィードフォワード制御の結果から教師データが選択されるため、フィードフォワード制御と並行して外乱および制御対象の特性に予測モデルをリアルタイムに適合させることができる。また、この開示によれば、予測モデルの精度が十分に高くなるまで機械学習が継続されるため、制御対象に対するフィードフォワード制御の精度を十分に向上させることができる。
　上記の開示において、学習部は、機械学習が終了し、かつ、上記割合が第３基準値より小さい場合、機械学習を再開してもよい。
　この開示によれば、制御対象の特性の変化に応じて予測モデルが当該特性に再適合されるため、制御対象の特性の変化によるフィードフォワード制御の精度の低下を抑制することができる。
　上記の開示において、第２要素は、計測されなくてもよい。
　この開示によれば、第２要素の計測に必要なセンサ等のコストを削減することができる。
　本開示の他の局面に係る教師データの生成プログラムは、外乱を受ける制御対象へのフィードバック操作量のフィードフォワード補償値を予測する予測モデルに対する機械学習のためのプログラムである。フィードバック操作量は、目標値と制御対象の制御量との誤差に基づいて、制御量が目標値に近づくように制御対象の制御装置のフィードバック制御によって決定される。フィードバック操作量およびフィードフォワード補償値の和が、操作量として制御対象に制御装置から出力される。外乱は、第１要素と、第２要素とを含む。予測モデルは、第１要素の計測値からフィードフォワード補償値を予測する。教師データの生成プログラムは、プロセッサに実行されることによって、複数のタイミングにおいて取得された、目標値と、目標値に対応する操作量と、計測値と、計測値および操作量の両方に対応する制御量とを含む複数の第１組合せのうち、誤差と第１基準値との比較に基づいて、計測値と操作量とを含む複数の第２組合せをそれぞれ特定し、複数の第２組合せにそれぞれ含まれる複数の操作量において、第１要素に対応するための複数の第１成分と、第２要素に対応するための複数の第２成分とをそれぞれ特定し、複数のタイミングにおける第２組合せにそれぞれ含まれる複数の計測値に複数の第１成分を正解としてそれぞれ対応させた教師データを出力する。
　この開示によれば、フィードフォワード制御の結果に含まれる操作量のうち、計測値に対応させるべき正解として、操作量そのものではなく、操作量のうちフィードフォワード制御が必要な計測要素に対応するための第１成分がフィードフォワード補償値として特定される。その結果、教師データにおいて計測値に対して適切な正解が関連付けられる。そのため、この開示によれば、教師データを用いて予測モデルに対して機械学習を行うことにより、制御対象に対するフィードフォワード制御の精度を向上させることができる。なお、本開示に係る発明は、上記プログラムを記憶する非一時的なコンピュータ可読媒体としても実現可能である。
　本開示の他の局面に係る教師データの生成方法は、外乱を受ける制御対象へのフィードバック操作量のフィードフォワード補償値を予測する予測モデルに対する機械学習のための方法である。フィードバック操作量は、目標値と制御対象の制御量との誤差に基づいて、制御量が目標値に近づくように制御対象の制御装置のフィードバック制御によって決定される。フィードバック操作量およびフィードフォワード補償値の和が、操作量として制御対象に制御装置から出力される。外乱は、第１要素と、第２要素とを含む。予測モデルは、第１要素の計測値からフィードフォワード補償値を予測する。教師データの生成方法は、複数のタイミングにおいて取得された、目標値と、目標値に対応する操作量と、計測値と、計測値および操作量の両方に対応する制御量とを含む複数の第１組合せのうち、誤差と第１基準値との比較に基づいて、計測値と操作量とを含む複数の第２組合せをそれぞれ特定することと、複数の第２組合せにそれぞれ含まれる複数の操作量において、第１要素に対応するための複数の第１成分と、第２要素に対応するための複数の第２成分とをそれぞれ特定することと、複数のタイミングにおける第２組合せにそれぞれ含まれる複数の計測値に複数の第１成分を正解としてそれぞれ対応させた教師データを出力することとを含む。
　この開示によれば、フィードフォワード制御の結果に含まれる操作量のうち、計測値に対応させるべき正解として、操作量そのものではなく、操作量のうちフィードフォワード制御が必要な計測要素に対応するための第１成分がフィードフォワード補償値として特定される。その結果、教師データにおいて計測値に対して適切な正解が関連付けられる。そのため、この開示によれば、教師データを用いて予測モデルに対して機械学習を行うことにより、制御対象に対するフィードフォワード制御の精度を向上させることができる。
　本開示に係る装置、教師データの生成プログラム、および教師データの生成方法によれば、制御対象に対するフィードフォワード制御の精度を向上させることができる。
実施の形態１に係る制御装置の機能構成を示すブロック図である。 ４つの組合せをそれぞれ含む４つのデータセットの包含関係を示すベン図である。 予測モデルが未学習である場合の試行期間における外乱、計測値、操作量、および制御量の各々のタイムチャートを示す図である。 図３に示される試行期間において取得された計測値、操作量、および制御量のうち、誤差の絶対値が基準値よりも小さい場合の計測値、操作量、および制御量を示す図である。 操作量を計測成分と非計測成分とに分ける処理を説明するための図である。 サンプル番号（測定時刻）が互いに同じである図４の計測値と図５（ｄ）のフィードフォワード補償値とによって特定される点がプロットされた図である。 ２つの試行期間において取得された２つのデータセットに基づいて予測関数を導出する処理を説明するための図である。 教師データを取得するための試行回数を増加させることによって、制御量が改善する様子を示す図である。 図１のフィードバック制御系、フィードフォワード制御系、学習データ生成部、および学習部の各々によって行われる処理の流れを示すフローチャートを示す図である。 図９の学習データ生成処理の具体的な処理の流れを示すフローチャートである。 図９の機械学習処理の具体的な処理の流れを示すフローチャートである。 図２の学習部によって行われる追加学習処理の流れを示す図である。 実施の形態１の変形例１に係る制御装置の機能構成を示すブロック図である。 実施の形態２に係る制御システムの機能構成を示すブロック図である。 実施の形態３に係る制御システムのネットワーク構成例を示す模式図である。 図１５の制御装置のハードウェア構成例を示すブロック図である。
　以下、実施の形態について図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。
　［実施の形態１］
　＜適用例＞
　図１は、実施の形態１に係る制御装置１００の機能構成を示すブロック図である。図１に示されるように、制御装置１００（学習装置）は、フィードバック制御部１１０と、フィードフォワード補償部１２０と、学習データ生成部１３０と、記憶部１４０と、減算器１５０と、加算器１６０と、学習部１７０とを備える。
　制御装置１００は、外乱ｄｓを受ける制御対象２００の出力値である制御量ｑが目標値ｑｒに近づくように制御対象２００へのフィードバック操作量ｒｂとフィードフォワード補償値ｒｆとの和を操作量ｒとして制御対象２００に出力する。記憶部１４０には、予測モデルＭｐおよび教師データＤｔが保存されている。制御装置１００と制御対象２００とは、ネットワーク（たとえば、インターネット、あるいはクラウドシステム）を介して接続され、互いに遠隔に配置されていてもよい。予測モデルＭｐを構築する機械学習アルゴリズムとしては、ディープバイナリーツリー、あるいはサポートベクターマシンを挙げることができる。
　外乱ｄｓとは、制御装置１００と制御対象２００とを含む制御系の状態を乱す量である。外乱ｄｓは、複数の外乱要素を含み、たとえば、制御対象に偶発的あるいは突発的に入力される光量、電圧、電流、および温度を含む。外乱ｄｓに含まれる複数の外乱要素のうち、センサ等の計測装置によって計測される外乱要素を計測要素ｄｓｋ（第１要素）とし、計測されない外乱要素を非計測要素ｄｓｕ（第２要素）とする。また、計測要素ｄｓｋの計測値をｄｏとする。
　外乱ｄｓに含まれる複数の外乱要素は、制御対象２００の対象装置の特性要因図等の予め得られている知見に基づいて、制御対象２００の品質特性値（制御量ｑ）に影響を与えることが想定される複数の因子として決定され得る。当該複数の因子のうち、フィードバック制御に関する基準時間間隔（たとえば、フィードバック制御のサインプリングタイムあるいは時定数）において、比較的大きい変動を制御量ｑに生じさせる因子が計測要素ｄｓｋとされ、比較的小さい変動を制御量ｑに生じさせる因子または未知の因子が非計測要素ｄｓｕとされる。すなわち、基準時間間隔における計測要素に基づく制御量ｑの変動は、基準時間間隔における非計測要素に基づく制御量ｑの変動よりも大きい。たとえば、フィードバック制御での追従が困難である急峻あるいは不連続な変動を制御量ｑに生じさせる因子（たとえば、材料の湾曲あるいは耐力等の材料の特性）が計測要素ｄｓｋとされる。計測要素ｄｓｋに対しては、急峻な変動に予め備えることが可能なフィードフォワード制御を行う必要性が比較的高い。一方、フィードバック制御での追従が可能な緩やかあるいは連続的な変動を制御量ｑに生じさせる因子（たとえば、制御対象の周囲の温度、あるいは加工熱による制御対象の熱膨張）が非計測要素ｄｓｕとされる。非計測要素ｄｓｕに対しては、フィードバック制御での追従が可能であるため、フィードフォワード制御を行なう必要性は比較的低い。なお、当該因子の計測に必要なセンサ等のコストを削減するために、非計測要素とされてもよい。
　以下では、フィードバック制御部１１０と減算器１５０とを含む構成をフィードバック制御系とも呼び、フィードフォワード補償部１２０と加算器１６０とを含む構成をフィードフォワード制御系とも呼ぶ。
　減算器１５０は、目標値ｑｒと制御量ｑとの誤差ｅｑ（＝ｑｒ－ｑ）をフィードバック制御部１１０に出力する。フィードバック制御部１１０は、誤差ｅｑに基づいてフィードバック操作量ｒｂを決定して加算器１６０に出力する。フィードフォワード補償部１２０は、予測モデルＭｐを用いて計測値ｄｏからフィードフォワード補償値ｒｆを予測して加算器１６０に出力する。加算器１６０は、フィードバック操作量ｒｂとフィードフォワード補償値ｒｆとの和を操作量ｒとして制御対象２００および学習データ生成部１３０に出力する。
　学習データ生成部１３０は、予測モデルＭｐに対する機械学習において用いられる教師データＤｔを生成する。学習データ生成部１３０は、複数のタイミングにおいて、目標値ｑｒと、目標値ｑｒに対応する操作量ｒと、計測値ｄｏと、計測値ｄｏおよび操作量ｒの両方に対応する制御量ｑとを含む複数の組合せＣｍ１（第１組合せ）をそれぞれ取得する。学習データ生成部１３０は、複数の組合せＣｍ１のうち、誤差ｅｑの絶対値が基準値α（第１基準値）よりも小さい場合（制御対象２００に対して高精度の制御が行われた場合）の計測値ｄｏと操作量ｒとを含む複数の組合せＣｍ２（第２組合せ）をそれぞれ特定する。基準値αは、たとえば、実機実験、シミュレーション、製品の規格値、ある製造工程の管理値に基づいて適宜決定することができる。
　学習データ生成部１３０は、複数の組合せＣｍ２にそれぞれ含まれる複数の操作量ｒにおいて、計測要素ｄｓｋに対応するための複数の計測成分（第１成分）と、非計測要素ｄｓｕに対応するための複数の非計測成分（第２成分）とを特定する。計測成分および非計測成分は、フィードフォワード補償値ｒｆおよびフィードバック操作量ｒｂにそれぞれ対応する。学習データ生成部１３０は、複数の計測値ｄｏに、複数の計測成分（正解）をそれぞれ対応させた教師データＤｔを記憶部１４０に出力する。教師データＤｔは、学習データのセット（データセット）を取得するための試行期間毎に区別されて記憶部１４０に保存される。なお、学習データ生成部１３０は、教師データＤｔを学習部１７０に直接出力してもよい。
　学習部１７０は、計測値ｄｏと、フィードフォワード補償値ｒｆ（計測成分）との関係を、フィードフォワード補償値ｒｆを目的変数とするとともに、計測値ｄｏを説明変数とする関数（回帰曲線あるいは回帰曲面）として近似する。予測モデルＭｐは、当該関数を含む。学習部１７０は、複数の組合せＣｍ１のうち計測値ｄｏの絶対値が基準値β（第２基準値）より大きい組合せＣｍ３（第３組合せ）の数に対する、複数の組合せＣｍ２のうち計測値ｄｏの絶対値が基準値βより大きい組合せＣｍ４（第４組合せ）の数の割合Ｃｒが基準値δ（第３基準値）より大きい場合、外乱ｄｓの計測成分が比較的大きくても制御対象２００に対して高精度の制御が行われるタイミング数が所望のレベルまで増加したとして、予測モデルＭｐに対する機械学習を終了する。なお、基準値βは、制御系が定常状態である場合の計測値ｄｏの絶対値の最大値として決定されてもよい。基準値βは、たとえば、実機実験、シミュレーション、製品の規格値、あるいは製造工程の管理値に基づいて適宜決定することができる。
　学習部１７０は、予測モデルＭｐに対する機械学習（初回の学習または追加学習）が終了し、かつ、割合Ｃｒが基準値δ以下である場合、制御対象２００の特性が変化したとして、予測モデルＭｐに対する機械学習（追加学習）を再開する。基準値δは、たとえば、実機実験、シミュレーション、製品の規格値、ある製造工程の管理値に基づいて適宜決定することができる。制御対象２００の特性には、たとえば、計測値ｄｏおよび操作量ｒと、制御量ｑとの対応関係が含まれる。
　図２は、４つの組合せＣｍ１～Ｃｍ４をそれぞれ含む４つのデータセットＳｃｍ１，Ｓｃｍ２，Ｓｃｍ３，Ｓｃｍ４の包含関係を示すベン図である。データセットＳｃｍ１は、目標値ｑｒと、操作量ｒと、計測値ｄｏと、制御量ｑとを含む組合せＣｍ１の全てを含むデータセットである。データセットＳｃｍ２は、データセットＳｃｍ１のうち、誤差ｅｑの絶対値が基準値αよりも小さい場合の計測値ｄｏと操作量ｒとを含む組合せＣｍ２の全てを含むデータセットである。データセットＳｃｍ３は、データセットＳｃｍ１のうち、計測値ｄｏの絶対値が基準値βより大きい場合の組合せＣｍ３の全てを含むデータセットである。データセットＳｃｍ４は、データセットＳｃｍ２のうち、計測値ｄｏの絶対値が基準値βより大きい組合せＣｍ４の全てを含むデータセットである。図５に示されるように、データセットＳｃｍ１は、データセットＳｃｍ２，Ｓｃｍ３を包含する。データセットＳｃｍ４は、データセットＳｃｍ２とＳｃｍ３との共通部分（積集合）である。
　制御装置１００においては、フィードフォワード制御の結果に含まれる操作量ｒのうち、計測値ｄｏに対応させるべき正解として、操作量ｒそのものではなく、操作量ｒのうちフィードフォワード制御が必要な計測要素ｄｓｋに対応するための計測成分がフィードフォワード補償値ｒｆとして特定される。制御装置１００によれば、教師データＤｔにおいて計測値ｄｏに対して適切な正解が関連付けられるため、教師データＤｔを用いて予測モデルＭｐに対して機械学習を行うことにより、制御対象２００に対するフィードフォワード制御の精度を向上させることができる。また、制御装置１００によれば、フィードフォワード制御と並行して計測値ｄｏおよび制御対象２００の特性に予測モデルＭｐをリアルタイムに適合させることができる。また、予測モデルＭｐの精度が十分に高くなるまで機械学習が継続されるため、制御対象２００に対するフィードフォワード制御の精度を十分に向上させることができる。さらに、制御対象２００の特性の変化に応じて予測モデルＭｐが当該特性に再適合されるため、制御対象２００の特性の変化によるフィードフォワード制御の精度の低下を抑制することができる。
　図３は、予測モデルＭｐが未学習である場合の試行期間における外乱ｄｓ、計測値ｄｏ、操作量ｒ、および制御量ｑの各々のタイムチャートを示す図である。図３には、６４００秒間に取得された８０００個のデータがプロットされている。図３に示されるように、計測要素ｄｓｋ，計測値ｄｏは、時刻ｔ１，ｔ２，ｔ３，ｔ４（ｔ１＜ｔ２＜ｔ３＜ｔ４）の各々において他の時間帯よりも急峻な変化をするとともに、それ以外の時間帯においてはほぼ平坦な階段状のグラフを形成する。非計測要素ｄｓｕは、一様に連続的な変化をして直線上のグラフを形成する。操作量ｒは、時刻ｔ１，ｔ２，ｔ３，ｔ４の各々において計測要素ｄｓｋと同様に急峻に変化するとともに、それ以外の時間帯においては非計測要素ｄｓｕと同様に連続的に変化する。制御量ｑには、時刻ｔ１，ｔ２，ｔ３，ｔ４の各々において、スパイク状のノイズが発生する。
　図４は、図３に示される試行期間において取得された計測値ｄｏ、操作量ｒ、および制御量ｑのうち、誤差ｅｑの絶対値が基準値αよりも小さい場合の計測値ｄｏ、操作量ｒ、および制御量ｑを示す図である。図５は、操作量ｒを計測成分と非計測成分とに分ける処理を説明するための図である。図５の（ａ）の操作量ｒは図４の操作量ｒに対応し、図５の（ｄ）の操作量ｒは図３の操作量ｒに対応する。図４，図５の横軸のサンプル番号は、データが取得された時刻順に付される番号である。後に説明する図８においても同様である。
　図５を参照しながら、（ｂ）の差分は、（ａ）のｎ＋１番目の操作量ｒｎ＋１からｎ番目の操作量ｒｎを引いた値（ｒｎ＋１－ｒｎ）である。（ｂ）において時刻ｔ１～ｔ４において、外れ値ｏｔ１，ｏｔ２，ｏｔ３，ｏｔ４がそれぞれ検出されている。外れ値ｏｔ１～ｏｔ４の各々は、閾値以上の絶対値（｜ｒｎ＋１－ｒｎ｜）を有する差分である。
　（ｃ）には、（ａ）に示される複数のデータの各々にオフセット処理を行うことによって抽出された非計測成分がプロットされている。当該オフセット処理においては、当該複数のデータの各々から測定された時刻に応じた外れ値の合計が引かれる。具体的には、時刻０（測定開始）から時刻ｔ１までの操作量ｒから引かれる外れ値はｏｔ０である。時刻ｔ１～ｔ２までの操作量ｒから引かれる外れ値はｏｔ０，ｏｔ１の合計である。時刻ｔ２～ｔ３までの操作量ｒから引かれる外れ値はｏｔ０～ｏｔ２の合計である。時刻ｔ３～ｔ４までの操作量ｒから引かれる外れ値はｏｔ０～ｏｔ３の合計である。時刻ｔ４以降の操作量ｒから引かれる外れ値はｏｔ０～ｏｔ４の合計である。（ｃ）にプロットされている非計測成分に基づいてサンプル番号（あるいは時間）と操作量ｒの非計測成分との対応関係が非計測成分の関数として近似される。操作量ｒの非計測成分は、非計測要素ｄｓｕに対応するためにフィードバック制御によって決定された操作量である。そのため、このように関数として近似された操作量ｒの非計測成分は、（ｄ）においてフィードバック操作量ｒｂとして示されている。操作量ｒは、フィードバック操作量ｒｂとフィードフォワード補償値ｒｆとの和である。したがって、（ｄ）において、フィードフォワード補償値ｒｆは、操作量ｒからフィードバック操作量ｒｂを引くことによって導かれる。
　図６は、サンプル番号（測定時刻）が互いに同じである図４の計測値ｄｏと図５（ｄ）のフィードフォワード補償値ｒｆとによって特定される点がプロットされた図である。図６に示されるように、プロットされた複数の点（教師データ）に基づく回帰分析によって、計測値ｄｏとフィードフォワード補償値ｒｆとの対応関係が、計測値ｄｏ，フィードフォワード補償値ｒｆをそれぞれ説明変数および目的変数として有する予測関数Ｆｎ１として近似される。なお、計測値ｄｏとフィードフォワード補償値ｒｆとの対応関係を関数として近似することには、ガウス過程回帰などの機械学習アルゴリズムを利用することができる。
　図７は、２つの試行期間Ｔｐ１，Ｔｐ２において取得された２つのデータセットに基づいて予測関数Ｆｎ１２を導出する処理を説明するための図である。図７に示されるように、試行期間Ｔｐ１，Ｔｐ２の各々において導出された点（教師データ）のフィードフォワード補償値ｒｆからオフセット値が引かれた点が新たな教師データとされて、予測関数Ｆｎ１２が導出される。また、当該オフセット値は、試行期間Ｔｐ１，Ｔｐ２にそれぞれ対応する予測関数Ｆｎ１，Ｆｎ２の重複範囲Ｒｇに含まれる計測値ｄｏ１２を利用して決定されてもよい。具体的には、予測関数Ｆｎ１，Ｆｎ２において計測値ｄｏ１２にそれぞれ対応するフィードフォワード補償値ｒｆ１，ｒｆ２の平均値ｒｆａとフィードフォワード補償値ｒｆ１またはｒｆ２との差の絶対値（フィードフォワード補償値ｒｆ１，ｒｆ２の差の半分）を当該オフセット値とすることができる。また、当該オフセット値は、２つの試行期間Ｔｐ１，Ｔｐ２に含まれるすべての点に対するオフセット値の合計が最小となるように決定されてもよい。
　図８は、教師データを取得するための試行回数を増加させることによって、制御量ｑが改善する様子を示す図である。図８に示されるように、第１回の試行期間においては、時刻ｔ１１，ｔ１２，ｔ１３，ｔ１４においてスパイク状のノイズが発生する。しかし、第１回の試行期間において生成された教師データを用いる機械学習が予測モデルＭｐに対して行われるため、第２回の試行期間の時刻ｔ２１，ｔ２２，ｔ２３，ｔ２４の各々において発生するスパイク状のノイズの大きさ、および第３回の試行期間の時刻ｔ３１，ｔ３２，ｔ３３，ｔ３４の各々において発生するスパイク状のノイズの大きさは、第１回の試行期間の時刻ｔ１１，ｔ１２，ｔ１３，ｔ１４において発生するスパイク状のノイズの大きさよりも小さい。
　図９は、図１のフィードバック制御系、フィードフォワード制御系、学習データ生成部１３０、および学習部１７０の各々によって行われる処理の流れを示すフローチャートを示す図である。フィードバック制御系およびフィードフォワード制御系の各々のフローチャートに対応するルーチンは、たとえば、サンプリングタイム毎に実行される。学習データ生成部１３０および学習部１７０の各々のフローチャートに対応するルーチンは、たとえば、フィードフォワード制御系の各々のフローチャートに対応するルーチンの初回実行に応じて実行される。以下ではステップを単にＳと記載する。
　図９に示されるように、減算器１５０は、Ｓ１１１において、目標値ｑｒと制御量ｑとの誤差ｅｑを算出してフィードバック制御部１１０に出力する。フィードバック制御部１１０は、Ｓ３１２において、誤差ｅｑに基づいてフィードバック操作量ｒｂを決定して加算器１６０に出力して、処理を終了する。
　フィードフォワード補償部１２０は、Ｓ１２１において、計測値ｄｏからフィードフォワード補償値ｒｆを決定して加算器１６０に出力する。加算器１６０は、Ｓ１２２において、フィードバック操作量ｒｂとフィードフォワード補償値ｒｆとの和を操作量ｒとして制御対象２００および学習データ生成部１３０に出力して、処理を終了する。
　学習データ生成部１３０は、Ｓ１３０において教師データＤｔを生成して処理を終了する。学習部１７０は、Ｓ１７０において予測モデルＭｐに対して教師データＤｔを用いた機械学習を行って、処理を終了する。
　図１０は、図９の学習データ生成処理Ｓ１３０の具体的な処理の流れを示すフローチャートである。図１０に示されるように、学習データ生成部１３０は、Ｓ１３１において、複数のタイミングにおいて複数の組合せＣｍ１をそれぞれ取得して処理をＳ１３２に進める。学習データ生成部１３０は、Ｓ１３２において、複数の組合せＣｍ１のうち、誤差ｅｑの絶対値が基準値αよりも小さい場合の計測値ｄｏと操作量ｒとを含む複数の組合せＣｍ２をそれぞれ特定して処理をＳ１３３に進める。学習データ生成部１３０は、Ｓ１３３において、複数の組合せＣｍ２にそれぞれ含まれる複数の操作量ｒにおいて、計測要素ｄｓｋに対応するための複数の計測成分と、非計測要素ｄｓｕに対応するための複数の非計測成分とをそれぞれ特定して処理をＳ１３４に進める。学習データ生成部１３０は、Ｓ１３４において、複数のタイミングにおける組合せＣｍ２にそれぞれ含まれる複数の計測値ｄｏに複数の計測成分（フィードフォワード補償値ｒｆ）を正解としてそれぞれ対応させた教師データＤｔを出力して処理を終了する。
　図１１は、図９の機械学習処理Ｓ１７０の具体的な処理の流れを示すフローチャートである。図１１に示されるように、学習部１７０は、Ｓ１７１において、新たに追加された教師データＤｔを取得して処理をＳ１７２に進める。学習部１７０は、Ｓ１７２において、予測モデルＭｐによって表現される計測値ｄｏと、操作量ｒの計測成分としてのフィードフォワード補償値ｒｆとの関係を、フィードフォワード補償値ｒｆを目的変数とするとともに、計測値ｄｏを説明変数とする関数（回帰曲線）として近似して処理をＳ１７３に進める。学習部１７０は、Ｓ１７３において、複数の組合せＣｍ１のうち計測値ｄｏの絶対値が基準値βより大きい組合せＣｍ３の数Ｍ１に対する、複数の組合せＣｍ２のうち計測値ｄｏの絶対値が基準値βより大きい組合せＣｍ４の数Ｍ２の割合Ｃｒ（＝Ｍ２／Ｍ１）を算出して、処理をＳ１７４に進める。学習部１７０は、Ｓ１７４において、割合Ｃｒが基準値δより大きいか否かを判定する。割合Ｃｒが基準値δ以下である場合（Ｓ１７４においてＮＯ）、学習部１７０は、制御対象２００へのフィードフォワード制御の精度が不十分であるとして、処理をＳ１７１に戻す。割合Ｃｒが基準値δより大きい場合（Ｓ１７４においてＹＥＳ）、制御対象２００へのフィードフォワード制御の精度が十分に高まったとして、学習部１７０は、機械学習を終了する。
　図１２は、図２の学習部１７０によって行われる追加学習処理の流れを示す図である。図１２に示される処理は、たとえば、初回の機械学習が開始した後、サンプリングタイム毎に実行される。図１２に示されるように、学習部１７０は、Ｓ１７１Ａにおいて、機械学習が終了し、かつ、割合Ｃｒが基準値δ以下であるか否かを判定する。機械学習が終了していないか、または割合Ｃｒが基準値δより大きい場合（Ｓ１７１ＡにおいてＮＯ）、制御対象２００の特性が変化しておらず既存の学習済みの予測モデルＭｐが制御対象２００に適合しているとして、学習部１７０は、処理を終了する。機械学習が終了し、かつ割合Ｃｒが基準値δより以下である場合（Ｓ１７１ＡにおいてＹＥＳ）、学習部１７０は、前回の機械学習が終了した後、制御対象２００の特性が変化したとして、予測モデルＭｐを制御対象２００の特性に再度適合させるために、図９と同様のＳ１７０において予測モデルＭｐに対する機械学習を再開する。制御装置１００によれば、制御対象２００の特性の変化に応じて予測モデルＭｐに対する追加学習が行われるため、制御対象２００の特性の変化によるフィードフォワード制御の精度の低下を抑制することができる。
　［実施の形態１の変形例１］
　実施の形態１においては、フィードバック制御系およびフィードフォワード制御系の両方が含まれる構成について説明した。実施の形態１の変形例１においては、フィードバック制御系が含まれない構成について説明する。
　図１３は、実施の形態１の変形例１に係る制御装置１００Ａの機能構成を示すブロック図である。制御装置１００Ａの構成は、図１の制御装置１００から減算器１５０およびフィードバック制御部１１０が除かれた構成である。これ以外は同様であるため、同様の構成についての説明を繰り返さない。なお、加算器１６０は、制御装置１００Ａに含まれていなくてもよい。
　図１３に示されるように、制御装置１００Ａは、計測値ｄｏを受ける制御対象２００の制御量ｑが目標値ｑｒに近づくように制御対象２００へのフィードバック操作量ｒｂのフィードフォワード補償値ｒｆを決定する。制御装置１００Ａによれば、既存のフィードバック制御系を残存させながら、当該フィードバック制御系に制御装置を追加することにより、既存のフィードバック制御系をフィードフォワード制御系および学習機能を含む制御系に容易に拡張することができる。
　以上、実施の形態１および変形例１に係る装置および教師データの生成方法によれば、制御対象に対するフィードフォワード制御の精度を向上させることができる。
　［実施の形態２］
　実施の形態１においてはフィードバック制御系と、フィードフォワード制御系と、予測モデルに対して機械学習を行う構成とが１つの制御装置に含まれている場合について説明した。実施の形態２においては、フィードバック制御系と、フィードフォワード制御系と、予測モデルに対して機械学習を行う構成とが互いに別個の装置に分かれている構成について説明する。
　図１４は、実施の形態２に係る制御システム２の機能構成を示すブロック図である。図１４において図１と同様の参照符号が付されている構成は、実施の形態１において説明された当該参照符号によって特定される構成と同様の機能を有するため、当該同様の構成についての説明を繰り返さない。
　図１４に示されるように、制御システム２は、フィードバック制御装置１１と、フィードフォワード補償装置１２と、学習データ生成装置１３と、記憶装置１４と、学習装置１７とを備える。学習データ生成装置１３、記憶装置１４、および学習装置１７は、図１の学習データ生成部１３０、記憶部１４０、および学習部１７０にそれぞれ対応する。フィードバック制御装置１１は、フィードバック制御部１１０と、減算器１５０とを含む。フィードフォワード補償装置１２は、フィードフォワード補償部１２０と、加算器１６０とを含む。フィードバック制御装置１１、フィードフォワード補償装置１２、学習データ生成装置１３、記憶装置１４、学習装置１７、および制御対象２００は、ネットワークを介して互いに接続され、互いに遠隔に配置されていてもよい。なお、加算器１６０は、フィードフォワード補償装置１２ではなく、フィードバック制御装置１１に含まれていてもよい。
　制御システム２によれば、既存のフィードバック制御装置を残存させながら、当該フィードバック制御装置にフィードフォワード補償装置、学習データ生成装置、および学習装置を追加することにより、既存の制御システムを容易に拡張することができる。
　以上、実施の形態２に係る装置および教師データの生成方法によれば、制御対象に対するフィードフォワード制御の精度を向上させることができる。
　［実施の形態３］
　実施の形態３においては、実施の形態１に係る制御装置の一例として、当該制御装置がＰＬＣ（Programmable　Logic　Controller）を含む構成について説明する。
　＜制御システムのネットワーク構成例＞
　図１５は、実施の形態３に係る制御システム３のネットワーク構成例を示す模式図である。図１５に示されるように、制御システム３は、複数のデバイスが互いに通信可能に構成されたデバイス群を含む。典型的には、デバイスは、制御プログラムを実行する処理主体である制御装置３００と、制御装置３００に接続される周辺装置とを含み得る。制御装置３００は、図１に示される制御装置１００と同様の機能構成を有する。
　制御装置３００は、各種の設備または装置などの制御対象を制御する産業用コントローラに相当する。制御装置３００は、制御演算を実行する一種のコンピュータであり、典型的には、ＰＬＣ（Programmable　Logic　Controller）を含む。制御装置３００は、フィールドネットワーク２０を介してフィールドデバイス２００Ｃに接続されている。制御装置３００は、フィールドネットワーク２０を介して、少なくとも１つのフィールドデバイス２００Ｃとの間でデータを遣り取りする。
　制御装置３００において実行される制御演算は、フィールドデバイス２００Ｃにおいて収集または生成されたデータを収集する処理、フィールドデバイス２００Ｃに対する指令値（操作量）などのデータを生成する処理、および生成した出力データを対象のフィールドデバイス２００Ｃへ送信する処理などを含む。フィールドデバイス２００Ｃにおいて収集または生成されたデータには、フィールドデバイス２００Ｃに入力された外乱に関するデータ、および指令値に従ってフィールドデバイス２００Ｃが実際に動作した結果としての制御量が含まれる。フィールドデバイス２００Ｃに対する指令値は、制御装置３００によって実行される制御プログラムに基づいて算出された制御目標値（目標値）と実際の制御量との誤差に基づいて暫定的に算出された操作量に、予測モデルによって外乱から予測されたフィードフォワード補償値が加算されることによって決定される。
　フィールドネットワーク２０は、定周期通信を行うバスまたはネットワークを採用することが好ましい。このような定周期通信を行うバスまたはネットワークとしては、ＥｔｈｅｒＣＡＴ（登録商標）、ＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）、ＤｅｖｉｃｅＮｅｔ（登録商標）、またはＣｏｍｐｏＮｅｔ（登録商標）などが知られている。データの到達時間が保証される点において、ＥｔｈｅｒＣＡＴ（登録商標）が好ましい。
　フィールドネットワーク２０には、任意のフィールドデバイス２００Ｃを接続することができる。フィールドデバイス２００Ｃは、フィールド側にあるロボットまたはコンベアなどに対して何らかの物理的な作用を与えるアクチュエータ、および、フィールドとの間で情報を遣り取りする入出力装置などを含む。
　制御システム３においてフィールドデバイス２００Ｃは、複数のサーボドライバ２２０＿１，２２０＿２と、複数のサーボドライバ２２０＿１，２２０＿２にそれぞれ接続された複数のサーボモータ２２２＿１，２２２＿２とを含む。フィールドデバイス２００Ｃは、「制御対象」の一例である。
　サーボドライバ２２０＿１，２２０＿２は、制御装置３００からの指令値（たとえば、位置指令値または速度指令値など）に従って、サーボモータ２２２＿１および２２２＿２のうちの対応するサーボモータを駆動する。このようにして、制御装置３００は、フィールドデバイス２００Ｃを制御することができる。
　制御装置３００は、上位ネットワーク３２を介して、他の装置にも接続されている。上位ネットワーク３２は、ゲートウェイ７００を介して、外部ネットワークであるインターネット９００に接続されている。上位ネットワーク３２には、一般的なネットワークプロトコルであるイーサネット（登録商標）、あるいはＥｔｈｅｒＮｅｔ／ＩＰ（登録商標）が採用されてもよい。より具体的には、上位ネットワーク３２には、少なくとも１つのサーバ装置６００および少なくとも１つの表示装置５００が接続されてもよい。
　サーバ装置６００としては、データベースシステム、または製造実行システム（ＭＥＳ：Manufacturing　Execution　System）などが想定される。製造実行システムは、制御対象の製造装置または設備からの情報を取得して、生産全体を監視および管理するものであり、オーダ情報、品質情報、あるいは出荷情報などを扱うこともできる。これらに限らず、情報系サービスを提供する装置を上位ネットワーク３２に接続するようにしてもよい。情報系サービスとしては、制御対象の製造装置または設備からの情報を取得して、マクロ的またはミクロ的な分析などを行う処理が想定される。たとえば、情報系サービスとしては、制御対象の製造装置または設備からの情報に含まれる何らかの特徴的な傾向を抽出するデータマイニング、あるいは制御対象の設備または機械からの情報に基づく機械学習を行うための機械学習ツールなどが想定される。
　表示装置５００は、ユーザからの操作を受けて、制御装置３００に対してユーザ操作に応じたコマンドなどを出力するとともに、制御装置３００での演算結果などをグラフィカルに表示する。
　制御装置３００には、サポート装置４００が接続可能になっている。サポート装置４００は、上位ネットワーク３２またはインターネット９００を介して制御装置３００に接続されてもよい。サポート装置４００は、制御装置３００が制御対象を制御するために必要な準備を支援する装置である。具体的には、サポート装置４００は、制御装置３００で実行されるプログラムの開発環境（プログラム作成編集ツール、パーサ、およびコンパイラなど）、制御装置３００および制御装置３００に接続される各種デバイスの構成情報（コンフィギュレーション）を設定するための設定環境、生成したプログラムを制御装置３００へ出力する機能、および制御装置３００上で実行されるプログラムなどをオンラインで修正および変更を行う機能などを提供する。
　制御システム３においては、制御装置３００、サポート装置４００、および表示装置５００がそれぞれ別体として構成されているが、これらの機能の全部または一部を単一の装置に集約するような構成が採用されてもよい。
　制御装置３００は、一の生産現場のみで使用される場合に限らず、他の生産現場においても使用される。また、一の生産現場内においても複数の異なるラインで使用される場合もある。
　＜制御装置のハードウェア構成例＞
　図１６は、図１５の制御装置３００のハードウェア構成例を示すブロック図である。図１４に示されるように、制御装置３００は、プロセッサ３０２と、メインメモリ３０４と、ストレージ３６０と、メモリカードインターフェイス３１２と、上位ネットワークコントローラ３０６と、フィールドネットワークコントローラ３０８と、ローカルバスコントローラ３１６と、ＵＳＢ（Universal　Serial　Bus）インターフェイスを提供するＵＳＢコントローラ３７０とを含む。これらのコンポーネントは、プロセッサバス３１８を介して接続されている。
　図１６に示されるように、プロセッサ３０２は、制御演算を実行する演算処理部に相当し、ＣＰＵ（Central　Processing　Unit）および／またはＧＰＵ（Graphics　Processing　Unit）などで構成される。具体的には、プロセッサ３０２は、ストレージ３６０に保存されたプログラムを読み出して、メインメモリ３０４に展開して実行することで、制御対象に対する制御演算を実現する。
　メインメモリ３０４は、ＤＲＡＭ（Dynamic　Random　Access　Memory）および／またはＳＲＡＭ（Static　Random　Access　Memory）などの揮発性記憶装置などで構成される。ストレージ３６０は、たとえば、ＳＳＤ（Solid　State　Drive）および／またはＨＤＤ（Hard　Disk　Drive）などの不揮発性記憶装置などで構成される。
　ストレージ３６０には、制御プログラムＰｃと、教師データＤｔと、予測モデルＭｐとが保存されている。ストレージ３６０は、図１の記憶部１４０に対応する。制御プログラムＰｃは、制御装置３００を統合的に制御して、制御装置３００の各機能を実現するためのプログラムを含む。すなわち、制御プログラムＰｃを実行するプロセッサ３０２が、図１のフィードバック制御系（フィードバック制御部１１０および減算器１５０）、フィードフォワード制御系（フィードフォワード補償部１２０および加算器１６０）、ならびに学習データ生成部１３０および学習部１７０に対応する。
　メモリカードインターフェイス３１２は、着脱可能な記憶媒体の一例であるメモリカード３１４を受け付ける。メモリカードインターフェイス３１２は、メモリカード３１４に対して任意のデータの読み書きが可能になっている。
　上位ネットワークコントローラ３０６は、上位ネットワーク３２（たとえばローカルエリアネットワーク）を介して、上位ネットワーク３２に接続された任意の情報処理装置との間でデータを遣り取りする。
　フィールドネットワークコントローラ３０８は、フィールドネットワーク２０を介して、サーボモータ２２２＿１，２２２＿２等の任意のデバイスとの間でデータを遣り取りする。
　ローカルバスコントローラ３１６は、ローカルバス１２２を介して、制御装置３００を構成する任意の機能ユニット３８０との間でデータを遣り取りする。機能ユニット３８０は、たとえば、アナログ信号の入力および／または出力を担当するアナログＩ／Ｏユニット、デジタル信号の入力および／または出力を担当するデジタルＩ／Ｏユニット、ならびにエンコーダなどからのパルスを受け付けるカウンタユニットなどからなる。
　ＵＳＢコントローラ３７０は、ＵＳＢ接続を介して、任意の情報処理装置との間でデータを遣り取りする。ＵＳＢコントローラ３７０には、たとえばサポート装置４００が接続される。
　以上、実施の形態３に係る装置、教師データの生成プログラム、および教師データの生成方法によれば、制御対象に対するフィードフォワード制御の精度を向上させることができる。
　＜付記＞
　上記したような本実施の形態は、以下のような技術思想を含む。
　［構成１］
　外乱（ｄｓ）を受ける制御対象（２００）へのフィードバック操作量（ｒｂ）のフィードフォワード補償値（ｒｆ）を予測する予測モデル（Ｍｐ）に対する機械学習のための装置（１００）であって、
　前記フィードバック操作量（ｒｂ）は、目標値（ｑｒ）と前記制御対象（２００）の制御量（ｑ）との誤差（ｅｑ）に基づいて、前記制御量（ｑ）が前記目標値（ｑｒ）に近づくように前記制御対象の制御装置のフィードバック制御によって決定され、
　前記フィードバック操作量（ｒｂ）および前記フィードフォワード補償値（ｒｆ）の和が、操作量（ｒ）として前記制御対象（２００）に前記制御装置から出力され、
　前記外乱（ｄｓ）は、第１要素（ｄｓｋ）と、第２要素（ｄｓｕ）とを含み、
　前記予測モデル（Ｍｐ）は、前記第１要素（ｄｓｋ）の計測値（ｄｏ）から前記フィードフォワード補償値（ｒｆ）を予測し、
　前記装置（１００）は、学習データ生成部（１３０）を備え、
　前記学習データ生成部（１３０）は、
　複数のタイミングにおいて取得された、前記目標値（ｑｒ）と、前記目標値（ｑｒ）に対応する前記操作量（ｒ）と、前記計測値（ｄｏ）と、前記計測値（ｄｏ）および前記操作量（ｒ）の両方に対応する前記制御量（ｑ）とを含む複数の第１組合せ（Ｃｍ１）のうち、前記誤差（ｅｑ）と第１基準値（α）との比較に基づいて、前記計測値（ｄｏ）と前記操作量（ｒ）とを含む複数の第２組合せ（Ｃｍ２）をそれぞれ特定し、
　前記複数の第２組合せ（Ｃｍ２）にそれぞれ含まれる複数の操作量（ｒ）において、前記第１要素（ｄｓｋ）に対応するための複数の第１成分（ｒｆ）と、前記第２要素（ｄｓｕ）に対応するための複数の第２成分（ｒｂ）とをそれぞれ特定し、
　前記複数のタイミングにおける第２組合せ（Ｃｍ２）にそれぞれ含まれる複数の計測値（ｄｏ）に前記複数の第１成分（ｒｆ）を正解としてそれぞれ対応させた教師データ（Ｄｔ）を出力する、装置（１００）。
　［構成２］
　前記教師データ（Ｄｔ）を用いて前記予測モデル（Ｍｐ）に対して前記機械学習を行う学習部をさらに備え、
　前記学習部（１７０）は、
　前記予測モデル（Ｍｐ）によって表現される、前記複数の計測値（ｄｏ）と前記複数の第１成分（ｒｆ）との関係を、前記フィードフォワード補償値（ｒｆ）を目的変数とするとともに、前記計測値（ｄｏ）を説明変数とする関数として近似し、
　前記複数の第１組合せ（Ｃｍ１）のうち前記計測値（ｄｏ）の絶対値が第２基準値より大きい第３組合せの数に対する、前記複数の第２組合せ（Ｃｍ２）のうち前記計測値（ｄｏ）の絶対値が前記第２基準値より大きい第４組合せの数の割合が第３基準値より大きい場合、前記機械学習を終了する、構成１に記載の装置（１００）。
　［構成３］
　前記学習部（１７０）は、前記機械学習が終了し、かつ、前記割合が前記第３基準値より小さい場合、前記機械学習を再開する、構成２に記載の装置（１００）。
　［構成４］
　前記第２要素（ｄｓｕ）は、計測されない、構成１～３のいずれか１つに記載の装置（１００）。
　［構成５］
　外乱（ｄｓ）を受ける制御対象（２００）へのフィードバック操作量（ｒｂ）のフィードフォワード補償値（ｒｆ）を予測する予測モデル（Ｍｐ）に対する機械学習のための教師データの生成プログラムであって、
　前記フィードバック操作量（ｒｂ）は、目標値（ｑｒ）と前記制御対象（２００）の制御量（ｑ）との誤差（ｅｑ）に基づいて、前記制御量（ｑ）が前記目標値（ｑｒ）に近づくように前記制御対象の制御装置のフィードバック制御によって決定され、
　前記フィードバック操作量（ｒｂ）および前記フィードフォワード補償値（ｒｆ）の和が、操作量（ｒ）として前記制御対象（２００）に前記制御装置から出力され、
　前記外乱（ｄｓ）は、第１要素（ｄｓｋ）と、第２要素（ｄｓｕ）とを含み、
　前記予測モデル（Ｍｐ）は、前記第１要素（ｄｓｋ）の計測値（ｄｏ）から前記フィードフォワード補償値（ｒｆ）を予測し、
　前記教師データの生成プログラムは、プロセッサに実行されることによって、
　複数のタイミングにおいて取得された、前記目標値（ｑｒ）と、前記目標値（ｑｒ）に対応する前記操作量（ｒ）と、前記計測値（ｄｏ）と、前記計測値（ｄｏ）および前記操作量（ｒ）の両方に対応する前記制御量（ｑ）とを含む複数の第１組合せ（Ｃｍ１）のうち、前記誤差（ｅｑ）と第１基準値（α）との比較に基づいて、前記計測値（ｄｏ）と前記操作量（ｒ）とを含む複数の第２組合せ（Ｃｍ２）をそれぞれ特定し、
　前記複数の第２組合せ（Ｃｍ２）にそれぞれ含まれる複数の操作量（ｒ）において、前記第１要素（ｄｓｋ）に対応するための複数の第１成分（ｒｆ）と、前記第２要素（ｄｓｕ）に対応するための複数の第２成分（ｒｂ）とをそれぞれ特定し、
　前記複数のタイミングにおける第２組合せ（Ｃｍ２）にそれぞれ含まれる複数の計測値（ｄｏ）に前記複数の第１成分（ｒｆ）を正解としてそれぞれ対応させた教師データ（Ｄｔ）を出力する、教師データの生成プログラム。
　［構成６］
　外乱（ｄｓ）を受ける制御対象（２００）へのフィードバック操作量（ｒｂ）のフィードフォワード補償値（ｒｆ）を予測する予測モデル（Ｍｐ）に対する機械学習のための教師データの生成方法であって、
　前記フィードバック操作量（ｒｂ）は、目標値（ｑｒ）と前記制御対象（２００）の制御量（ｑ）との誤差（ｅｑ）に基づいて、前記制御量（ｑ）が前記目標値（ｑｒ）に近づくように前記制御対象の制御装置のフィードバック制御によって決定され、
　前記フィードバック操作量（ｒｂ）および前記フィードフォワード補償値（ｒｆ）の和が、操作量（ｒ）として前記制御対象（２００）に前記制御装置から出力され、
　前記外乱（ｄｓ）は、第１要素（ｄｓｋ）と、第２要素（ｄｓｕ）とを含み、
　前記予測モデル（Ｍｐ）は、前記第１要素（ｄｓｋ）の計測値（ｄｏ）から前記フィードフォワード補償値（ｒｆ）を予測し、
　前記教師データの生成方法は、
　複数のタイミングにおいて取得された、前記目標値（ｑｒ）と、前記目標値（ｑｒ）に対応する前記操作量（ｒ）と、前記計測値（ｄｏ）と、前記計測値（ｄｏ）および前記操作量（ｒ）の両方に対応する前記制御量（ｑ）とを含む複数の第１組合せ（Ｃｍ１）のうち、前記誤差（ｅｑ）と第１基準値（α）との比較に基づいて、前記計測値（ｄｏ）と前記操作量（ｒ）とを含む複数の第２組合せ（Ｃｍ２）をそれぞれ特定することと、
　前記複数の第２組合せ（Ｃｍ２）にそれぞれ含まれる複数の操作量（ｒ）において、前記第１要素（ｄｓｋ）に対応するための複数の第１成分（ｒｆ）と、前記第２要素（ｄｓｕ）に対応するための複数の第２成分（ｒｂ）とをそれぞれ特定することと、
　前記複数のタイミングにおける第２組合せ（Ｃｍ２）にそれぞれ含まれる複数の計測値（ｄｏ）に前記複数の第１成分（ｒｆ）を正解としてそれぞれ対応させた教師データ（Ｄｔ）を出力することとを含む、教師データの生成方法。
　［構成７］
　前記教師データ（Ｄｔ）を用いて前記予測モデル（Ｍｐ）に対して前記機械学習を行って学習済みモデルを生成する方法をさらに含み、
　前記学習済みモデルを生成する方法は、
　前記予測モデル（Ｍｐ）によって表現される、前記複数の計測値（ｄｏ）と前記複数の第１成分（ｒｆ）との関係を、前記フィードフォワード補償値（ｒｆ）を目的変数とするとともに、前記計測値（ｄｏ）を説明変数とする関数として近似するステップと、
　前記複数の第１組合せ（Ｃｍ１）のうち前記計測値（ｄｏ）の絶対値が第２基準値より大きい第３組合せの数に対する、前記複数の第２組合せ（Ｃｍ２）のうち前記計測値（ｄｏ）の絶対値が前記第２基準値より大きい第４組合せの数の割合が第３基準値より大きい場合、前記機械学習を終了するステップとを含む、構成６に記載の教師データの生成方法。
　［構成８］
　前記学習済みモデルを生成する方法は、前記機械学習が終了し、かつ、前記割合が前記第３基準値より小さい場合、前記機械学習を再開するステップをさらに含む、構成７に記載の教師データの生成方法。
　今回開示された各実施の形態は、矛盾しない範囲で適宜組み合わされて実施されることも予定されている。今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
　２，３　制御システム、１１　フィードバック制御装置、１２　フィードフォワード補償装置、１３　学習データ生成装置、１４　記憶装置、１７　学習装置、２０　フィールドネットワーク、３２　上位ネットワーク、１００，１００Ａ，３００　制御装置、１１０　フィードバック制御部、１２０　フィードフォワード補償部、１２２　ローカルバス、１３０　学習データ生成部、１４０　記憶部、１５０　減算器、１６０　加算器、１７０　学習部、２００　制御対象、２００Ｃ　フィールドデバイス、２２２　サーボモータ、３０２　プロセッサ、３０４　メインメモリ、３０６　上位ネットワークコントローラ、３０８　フィールドネットワークコントローラ、３１２　メモリカードインターフェイス、３１４　メモリカード、３１６　ローカルバスコントローラ、３１８　プロセッサバス、３６０　ストレージ、３７０　コントローラ、３８０　機能ユニット、４００　サポート装置、５００　表示装置、６００　サーバ装置、７００　ゲートウェイ、９００　インターネット、Ｃｍ１～Ｃｍ４　組合せ、Ｃｒ　割合、Ｄｔ　教師データ、Ｆｎ１，Ｆｎ２，Ｆｎ１２　予測関数、Ｍｐ　予測モデル、Ｐｃ　制御プログラム、Ｒｇ　重複範囲、Ｓｃｍ１～Ｓｃｍ４　データセット、Ｔｐ１，Ｔｐ２　試行期間、ｄｓｋ　計測要素、ｄｏ，ｄｏ１２　計測値、ｄｓ　外乱、ｄｓｕ　非計測要素、ｅｑ　誤差、ｏｔ１～ｏｔ４　外れ値、ｑ　制御量、ｑｒ　目標値、ｒ　操作量、ｒｂ　フィードバック操作量、ｒｆ，ｒｆ１，ｒｆ２　フィードフォワード補償値。

Claims (6)

  1. 　外乱を受ける制御対象へのフィードバック操作量のフィードフォワード補償値を予測する予測モデルに対する機械学習のための装置であって、
    　前記フィードバック操作量は、目標値と前記制御対象の制御量との誤差に基づいて、前記制御量が前記目標値に近づくように前記制御対象の制御装置のフィードバック制御によって決定され、
    　前記フィードバック操作量および前記フィードフォワード補償値の和が、操作量として前記制御対象に前記制御装置から出力され、
    　前記外乱は、第１要素と、第２要素とを含み、
    　前記予測モデルは、前記第１要素の計測値から前記フィードフォワード補償値を予測し、
    　前記装置は、学習データ生成部を備え、
    　前記学習データ生成部は、
    　複数のタイミングにおいて取得された、前記目標値と、前記目標値に対応する前記操作量と、前記計測値と、前記計測値および前記操作量の両方に対応する前記制御量とを含む複数の第１組合せのうち、前記誤差と第１基準値との比較に基づいて、前記計測値と前記操作量とを含む複数の第２組合せをそれぞれ特定し、
    　前記複数の第２組合せにそれぞれ含まれる複数の操作量において、前記第１要素に対応するための複数の第１成分と、前記第２要素に対応するための複数の第２成分とをそれぞれ特定し、
    　前記複数のタイミングにおける第２組合せにそれぞれ含まれる複数の計測値に前記複数の第１成分を正解としてそれぞれ対応させた教師データを出力する、装置。
  2. 　前記教師データを用いて前記予測モデルに対して前記機械学習を行う学習部をさらに備え、
    　前記学習部は、
    　前記予測モデルによって表現される、前記複数の計測値と前記複数の第１成分との関係を、前記フィードフォワード補償値を目的変数とするとともに、前記計測値を説明変数とする関数として近似し、
    　前記複数の第１組合せのうち前記計測値の絶対値が第２基準値より大きい第３組合せの数に対する、前記複数の第２組合せのうち前記計測値の絶対値が前記第２基準値より大きい第４組合せの数の割合が第３基準値より大きい場合、前記機械学習を終了する、請求項１に記載の装置。
  3. 　前記学習部は、前記機械学習が終了し、かつ、前記割合が前記第３基準値より小さい場合、前記機械学習を再開する、請求項２に記載の装置。
  4. 　前記第２要素は、計測されない、請求項１～３のいずれか１項に記載の装置。
  5. 　外乱を受ける制御対象へのフィードバック操作量のフィードフォワード補償値を予測する予測モデルに対する機械学習のための教師データの生成プログラムであって、
    　前記フィードバック操作量は、目標値と前記制御対象の制御量との誤差に基づいて、前記制御量が前記目標値に近づくように前記制御対象の制御装置のフィードバック制御によって決定され、
    　前記フィードバック操作量および前記フィードフォワード補償値の和が、操作量として前記制御対象に前記制御装置から出力され、
    　前記外乱は、第１要素と、第２要素とを含み、
    　前記予測モデルは、前記第１要素の計測値から前記フィードフォワード補償値を予測し、
    　前記教師データの生成プログラムは、プロセッサに実行されることによって、
    　複数のタイミングにおいて取得された、前記目標値と、前記目標値に対応する前記操作量と、前記計測値と、前記計測値および前記操作量の両方に対応する前記制御量とを含む複数の第１組合せのうち、前記誤差と第１基準値との比較に基づいて、前記計測値と前記操作量とを含む複数の第２組合せをそれぞれ特定し、
    　前記複数の第２組合せにそれぞれ含まれる複数の操作量において、前記第１要素に対応するための複数の第１成分と、前記第２要素に対応するための複数の第２成分とをそれぞれ特定し、
    　前記複数のタイミングにおける第２組合せにそれぞれ含まれる複数の計測値に前記複数の第１成分を正解としてそれぞれ対応させた教師データを出力する、教師データの生成プログラム。
  6. 　外乱を受ける制御対象へのフィードバック操作量のフィードフォワード補償値を予測する予測モデルに対する機械学習のための教師データの生成方法であって、
    　前記フィードバック操作量は、目標値と前記制御対象の制御量との誤差に基づいて、前記制御量が前記目標値に近づくように前記制御対象の制御装置のフィードバック制御によって決定され、
    　前記フィードバック操作量および前記フィードフォワード補償値の和が、操作量として前記制御対象に前記制御装置から出力され、
    　前記外乱は、第１要素と、第２要素とを含み、
    　前記予測モデルは、前記第１要素の計測値から前記フィードフォワード補償値を予測し、
    　前記教師データの生成方法は、
    　複数のタイミングにおいて取得された、前記目標値と、前記目標値に対応する前記操作量と、前記計測値と、前記計測値および前記操作量の両方に対応する前記制御量とを含む複数の第１組合せのうち、前記誤差と第１基準値との比較に基づいて、前記計測値と前記操作量とを含む複数の第２組合せをそれぞれ特定することと、
    　前記複数の第２組合せにそれぞれ含まれる複数の操作量において、前記第１要素に対応するための複数の第１成分と、前記第２要素に対応するための複数の第２成分とをそれぞれ特定することと、
    　前記複数のタイミングにおける第２組合せにそれぞれ含まれる複数の計測値に前記複数の第１成分を正解としてそれぞれ対応させた教師データを出力することとを含む、教師データの生成方法。
PCT/JP2024/007548 2023-03-02 2024-02-29 制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法 Ceased WO2024181534A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2023032163A JP2024124173A (ja) 2023-03-02 2023-03-02 制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法
JP2023-032163 2023-03-02

Publications (1)

Publication Number Publication Date
WO2024181534A1 true WO2024181534A1 (ja) 2024-09-06

Family

ID=92589936

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2024/007548 Ceased WO2024181534A1 (ja) 2023-03-02 2024-02-29 制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法

Country Status (2)

Country Link
JP (1) JP2024124173A (ja)
WO (1) WO2024181534A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121756371A (zh) * 2026-03-05 2026-03-31 赛那德数字技术(嘉兴)有限公司 一种基于深度学习的机器人小脑强化学习方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04326101A (ja) * 1991-04-26 1992-11-16 Toshiba Corp ニューラルネットワーク制御装置
US6556980B1 (en) * 1998-08-28 2003-04-29 General Cyberation Group, Inc. Model-free adaptive control for industrial processes
JP2018169695A (ja) * 2017-03-29 2018-11-01 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04326101A (ja) * 1991-04-26 1992-11-16 Toshiba Corp ニューラルネットワーク制御装置
US6556980B1 (en) * 1998-08-28 2003-04-29 General Cyberation Group, Inc. Model-free adaptive control for industrial processes
JP2018169695A (ja) * 2017-03-29 2018-11-01 ファナック株式会社 機械学習装置、サーボ制御装置、サーボ制御システム、及び機械学習方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN121756371A (zh) * 2026-03-05 2026-03-31 赛那德数字技术(嘉兴)有限公司 一种基于深度学习的机器人小脑强化学习方法及系统

Also Published As

Publication number Publication date
JP2024124173A (ja) 2024-09-12

Similar Documents

Publication Publication Date Title
JP6043348B2 (ja) 産業プロセスを監視する方法
Wos et al. Adaptive control of the electro‐hydraulic servo‐system with external disturbances
JP4859931B2 (ja) 調整及び制御を行なう方法と装置
US20130116802A1 (en) Tracking simulation method
JP7750006B2 (ja) 制御装置、制御システム、および制御方法
JP2002049409A (ja) プロセス制御システムにおける適応推定モデル
JP7700658B2 (ja) 線材の矯正機の制御装置、制御システム、および制御方法
JP2024124173A (ja) 制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法
CN111880400B (zh) 用于实现针对连续过程的预测分析的方法和装置
JP2024124174A (ja) 制御対象に対するフィードフォワード制御に関する機械学習のための装置、教師データの生成プログラム、および教師データの生成方法
JP7556306B2 (ja) 予測システム、情報処理装置および情報処理プログラム
CN117581169A (zh) 基于仅部分可测量的初始状态通过模拟来预测过程变量
JP7275389B2 (ja) サーボ制御装置
JP2023053573A (ja) プラント応答推定装置、プラント応答推定方法、及びプログラム
TWI830193B (zh) 預測系統、資訊處理裝置以及資訊處理程式
CN120813907A (zh) 过程自动化工厂的模型预测控制系统
Goiburú et al. Identification of Liquid-Level Systems in Industrial Processes Through Artificial Neural Networks
JP6829271B2 (ja) 測定動作パラメータ調整装置、機械学習装置及びシステム
JP2025116959A (ja) 制御対象に対する予測制御のための学習装置、制御装置、機械学習プログラム、制御プログラム、機械学習方法、および制御方法
JP7525032B1 (ja) 性能評価装置、性能評価方法、及びプログラム
EP3935459B1 (en) System and method for monitoring changes in process dynamic behavior by mapping parameters to a lower dimensional space
Wos et al. Application of the Parametric Identification While Modelling the Dynamics of the Electro-Hydraulic Drive
JP2023151888A (ja) 予測システム、制御装置および制御プログラム
CN108885438A (zh) 用于控制的方法、控制系统和设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 24764011

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 24764011

Country of ref document: EP

Kind code of ref document: A1