WO2019176370A1 - 将来状態推定装置および将来状態推定方法 - Google Patents

将来状態推定装置および将来状態推定方法 Download PDF

Info

Publication number
WO2019176370A1
WO2019176370A1 PCT/JP2019/003783 JP2019003783W WO2019176370A1 WO 2019176370 A1 WO2019176370 A1 WO 2019176370A1 JP 2019003783 W JP2019003783 W JP 2019003783W WO 2019176370 A1 WO2019176370 A1 WO 2019176370A1
Authority
WO
WIPO (PCT)
Prior art keywords
state
model
future state
future
simulation target
Prior art date
Application number
PCT/JP2019/003783
Other languages
English (en)
French (fr)
Inventor
勇也 徳田
吉田　卓弥
孝保 笠原
矢敷　達朗
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US16/971,806 priority Critical patent/US11573541B2/en
Priority to EP19766459.2A priority patent/EP3767560A4/en
Publication of WO2019176370A1 publication Critical patent/WO2019176370A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B17/00—Systems involving the use of models or simulators of said systems
    • G05B17/02—Systems involving the use of models or simulators of said systems electric
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/04—Forecasting or optimisation specially adapted for administrative or management purposes, e.g. linear programming or "cutting stock problem"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • G06Q10/067—Enterprise or organisation modelling

Definitions

  • the present invention mainly relates to a future state estimation device and a future state estimation method that calculate a control law considering a long-term future state at high speed.
  • Model predictive control which is generally applied in the field of automobiles and plants (power generation / industry), has a need to predict the state of the controlled object and its surrounding environment in the far future.
  • Patent Document 1 discloses a method of predicting a future state using a model that simulates a controlled object and its surrounding environment, and calculating an operation amount suitable for the future state.
  • Patent Document 2 discloses a method for predicting current and future states of an industrial system to be controlled and optimizing a control law so as to maximize an objective function.
  • Patent Document 3 discloses a method of modeling a nonlinear and dynamic system such as a thermal reactor process by a regression method and calculating an optimum operation amount using a future state predicted by the model.
  • Patent Document 4 is a control parameter automatic adjustment device that can automatically optimize control parameters according to the purpose while satisfying constraints on plant operation, and can reduce the calculation time required for optimization of control parameters.
  • a method of calculating a control law considering a future state using a machine model such as a plant model and reinforcement learning is disclosed.
  • Patent Literatures 1, 2, 3, and 4 predict a future state using a model that simulates a control target and its surrounding environment, and calculate an optimal control method from the predicted future state. There is a need to predict a future state that is farther away, but in the method using iterative calculation, the longer it takes to predict the future state, the longer the time required for the prediction calculation. Therefore, it is general to calculate to a future state that can be predicted for a finite time ahead, under the constraints of the computer performance and control cycle.
  • the present invention provides a future state estimation apparatus and a future capable of estimating a state of a controlled object and its surrounding environment at an infinite time ahead in the form of a probability density distribution at high speed within a predefined finite state space.
  • An object is to provide a state estimation method.
  • a model storage unit that stores a simulation target and a model that simulates the surrounding environment of the simulation target, and the simulation target and the surrounding environment of the simulation target in an infinite time or time step within a finite space.
  • a future state prediction result storage unit that stores information that estimates the future state in the form of probability density distribution and a model that simulates the future state of the simulation target and the surrounding environment of the simulation target in the form of probability density distribution
  • the future state estimation device is characterized by including a future state prediction calculation unit that performs simple calculations.
  • the present invention provides a model storage unit for storing a model for simulating a simulation target and its surrounding environment, a probability density indicating the future state of the simulation target and the simulation target environment in an infinite time or time step within a finite space.
  • a future state prediction result storage unit that stores information estimated in the form of distribution, means equivalent to a series using a model that simulates the simulation target and its surrounding environment, and information and data related to state transition .
  • a future state estimating device characterized by comprising a model updating unit for updating information in the model storage unit.
  • the present invention saves a model that simulates a simulation target and the surrounding environment of the simulation target, and indicates the future state of the simulation target in the finite space or the time step ahead and the surrounding environment of the simulation target in a probability density distribution.
  • a future state estimation method characterized by storing information estimated in a form, and using a model that simulates the future state of the simulated target and the surrounding environment of the simulated target in the form of a probability density distribution. It is what.
  • the present invention provides the following: “In estimating the future state using a model that simulates the behavior of the simulation target, the state of the transition source and the state of the transition destination before and after the state transition are the same as the state of the transition destination.
  • the future state estimation method is characterized in that an attenuation type state transition matrix that is a sum of a state transition probability matrix that takes into account a weight that decreases as the number of transitions increases in the future is obtained. It is what.
  • the present invention it is possible to calculate the future state of the controlled object ahead of the infinite time and its surrounding environment in the form of probability density distribution without depending on the time to the future state to be predicted.
  • a route optimization method that considers all the routes that may exist in the field of automatic design, a price determination method that takes into account a far-off future state in the field of finance, and a field of bioengineering It is possible to provide a method for optimizing metabolic pathways in consideration of all pathways within the modelable range.
  • storage part 131 is the state transition probability matrix T.
  • the figure which shows an example in case a reward function is a vector format.
  • FIG. The figure which shows an example of the state value function V.
  • the figure which shows an example of the calculation result of (4) Formula The figure which shows the flow of the process which the processing apparatus 101 performs.
  • FIG. The figure which shows the example which displayed the attenuation
  • FIG. The figure which shows the correspondence table which created in advance the relationship between state ID and temperature, pressure, and flow rate.
  • the figure which shows the example which displayed on the screen the graph 105 which predicted how the state of a control object and its surrounding environment will change with progress of time by control using a control law.
  • FIG. The figure which shows an example of the screen from which the display method of the update content (before and after update) of a model differs from FIG.
  • FIG. 1 is a configuration diagram illustrating an example of a processing apparatus 100 that implements a high-speed estimation method for a long-term future state according to Embodiment 1 of the present invention.
  • the processing device 100 includes an input device 110, a data reading device 115, an output device 120, a storage device 130, and an arithmetic device 140 as main elements.
  • the input device 110 is a part that receives an instruction from the operator, and includes a button, a touch panel, and the like.
  • the data reading device 115 is a part that receives data from the outside of the processing device 100, and includes a CD drive, a USB terminal, a LAN cable terminal, a communication device, and the like.
  • the output device 120 is a device that outputs instruction information to the operator, a read image, a read result, and the like, and includes a display and a communication device.
  • any or all of the input device 110, the data reading device 115, and the output device 120 may be connected to the outside of the processing device 100.
  • the storage device 130 is a part that stores various data, and includes a model storage unit 131 and a future state prediction result storage unit 132.
  • the model storage unit 131 is a part that stores a model for simulating the behavior of an object or a phenomenon to be predicted in the future state in the processing apparatus 100.
  • the future state prediction result storage unit 132 is a part that stores the calculation result of the future state prediction calculation unit 142 described later. Details of the storage device 130 will be described later, and only a general function is described here.
  • the arithmetic device 140 processes the data input from the input device 110 and the data reading device 115 and the data stored in the storage device 130, and outputs the result to the output device 120 or records the result in the storage device 130. It comprises the following processing units (input control unit 141, future state prediction result storage unit 132, output control unit 143).
  • the input control unit 141 is a part that performs processing of dividing data input from the input device 110 or the data reading device 115 into commands, models, and the like, and transferring them to each unit of the storage device 130 and the arithmetic device 140.
  • the future state prediction calculation unit 142 calculates an attenuation state transition matrix from the model data stored in the model storage unit 131 and records it in the future state prediction result storage unit 132.
  • the output control unit 143 is a part that outputs the data stored in the storage device 130 to the output device 120.
  • the output destination is a screen or the like, it is preferable to output a result every time a reading operation is performed.
  • the output process may be performed each time the state transition probability matrix is updated or the future state prediction calculation unit 142 is calculated, or the data is collected several times at predetermined time intervals. It may be processed by combining them.
  • simulation targets include behaviors of machines and organisms, natural and physical phenomena, chemical reactions, changes in money and prices, changes in consumer demand, and the like, but the simulation targets are not limited to these examples.
  • the input of the model in the present invention is an influence factor such as the state of the simulation target and the passage of time, operation, disturbance, etc., and the output is the state of the simulation target after being influenced by the influence factor.
  • a model such as a state transition model is stored in the model storage unit 131 of FIG.
  • the state transition model expresses the simulation target and the surrounding environment in an infinite time or infinite step ahead in a finite state space in the form of probability density distribution.
  • a storage format such as a state transition model in the model storage unit 131, for example, a state transition probability matrix, a neural network, a radial basis function network, or a matrix in which weights of a neural network or a radial basis function network are expressed.
  • a state transition probability matrix for example, a neural network, a radial basis function network, or a matrix in which weights of a neural network or a radial basis function network are expressed.
  • the present invention does not limit the model storage format of the simulation target to these examples.
  • FIG. 2 shows an example when the model format stored in the model storage unit 131 is the state transition probability matrix T.
  • si) is numerically displayed.
  • the transition probability matrix T is generally a kind of model that simulates the motion characteristics and physical phenomena of the controlled object, and is a function or matrix that preserves transition probabilities between all states.
  • any of the distance to the future state to be estimated, the time, or the step One or more calculation times may be independent. If the state transition probability P (sj
  • FIG. 2 shows that the probability P (s1
  • s2) of s3 is 0.5
  • s1) of s4 is 0.25.
  • the table in FIG. 2 shows the state of the transition source and the probability of the destination to move after the transition, so this table can be regarded as a table of probability density distribution.
  • the probability density distribution shows, for example, a mountain shape.
  • a table Tij showing only one cross section before and after the elapsed time ⁇ t is illustrated, but actually there are further tables of increments of the elapsed time ⁇ t.
  • a state transition probability matrix T that is a model stored in the model storage unit 131 is formed.
  • the table after the elapsed time ⁇ t of the table Tij is Ti + 1, j + 1, and the table after the elapsed time ⁇ t is Ti + 2, j + 2.
  • the state s is handled as a discrete space divided into n by dividing the whole into ranges, but the state s can be handled as a continuous space by using a neural network, a radial basis function network, or the like.
  • the state transition probability matrix T may be substituted with a matrix having element values of weighting coefficients of input signals entering the neurons and basis function weighting coefficients.
  • the future state prediction result storage unit 132 is a part that stores the calculation result of the future state prediction calculation unit 142.
  • data stored in the future state prediction result storage unit 132 is referred to as an attenuation state transition matrix.
  • the attenuated state transition matrix and its calculation method will be described later.
  • the future state prediction calculation unit 142 calculates an attenuation type state transition matrix from the model data recorded in the model storage unit 131 and records it in the future state prediction result storage unit 132.
  • An example of a method for calculating the attenuation type state transition matrix is shown in the following equation (1).
  • the model storage format in the model storage unit 131 is assumed to be a state transition probability matrix T.
  • D is an attenuation type state transition matrix
  • ⁇ is a constant that is greater than or equal to 0 and less than 1 called an attenuation rate.
  • T k is a function (or matrix) that preserves the transition probabilities between all states when the time ⁇ t ⁇ k has elapsed.
  • FIG. 3 is a diagram schematically showing the processing of the expression (1).
  • the probability distribution indicating the transition source state si and the transition destination state sj in the plurality of state transition probability matrices Tij is grasped as, for example, a mountain-shaped characteristic group.
  • the attenuation type state transition matrix D is the sum from the state transition probability matrix T after the lapse of ⁇ t time to the state transition probability matrix T ⁇ after the lapse of ⁇ t ⁇ ⁇ time, It is also a matrix that stores closeness. Further, in order to lower the weight as the state transitions to the far future, the amount of the attenuation rate ⁇ is increased in accordance with the elapsed time.
  • the present invention is characterized in that the expression (1) is converted into the following expression (2).
  • the expression (2) is equivalent to a series of the state transition probability matrix in estimating the simulation target in the infinite time or infinite step ahead and the state of the surrounding environment in the form of probability density distribution.
  • E is a unit matrix.
  • Expression (2) is a calculation expression equivalent to expression (1). By converting the calculation of the sum from the state transition probability matrix T to the state transition probability matrix T ⁇ in equation (1) into an inverse matrix of (E ⁇ T) in equation (2), within a finite time (1) The same calculation result as the formula is obtained.
  • a pseudo inverse matrix may be used.
  • D instead of the damped state transition matrix D, a matrix obtained by normalizing the damped state transition matrix in each row may be used.
  • the present invention makes it possible to calculate the state transition probability after ⁇ t ⁇ k hours by calculating T k by using the model that simulates the behavior of the simulation target as the state transition model. Also, the sum from the state transition probability matrix T after the lapse of ⁇ t time to the state transition probability matrix T ⁇ after the lapse of ⁇ t ⁇ ⁇ time is taken into consideration, and after the lapse of ⁇ t ⁇ ⁇ time is considered by weighting with the decay rate ⁇ according to the elapsed time The state transition probability can be calculated within a finite time.
  • FIG. 4 is a diagram showing a flow of processing performed by the processing apparatus 100.
  • step S1201 based on a command from the input control unit 141, data related to the model to be simulated is input from the data reading device 115, and the data is recorded in the model storage unit 131.
  • FIG. 5 is a configuration diagram illustrating an example of the processing apparatus 101 in which the processing apparatus 100 according to the first embodiment is extended to optimization of model-based control.
  • the simulation target in the processing apparatus 101 is the behavior of the control target and the surrounding environment, and the model stored in the model storage unit 131 also simulates the behavior of the control target and the surrounding environment.
  • the simulation target includes the control target.
  • the processing apparatus 101 includes an input device 110, a data reading device 115, an output device 120, a storage device 130, and an arithmetic device 150 as main elements.
  • the input device 110 is a part that receives an instruction from the operator, and includes a button, a touch panel, and the like.
  • the data reading device 115 is a part that receives data from the outside of the processing device 100, and includes a CD drive, a USB terminal, a LAN cable terminal, a communication device, and the like.
  • the output device 120 is a device that outputs instruction information to the operator, a read image, a read result, and the like, and includes a display, a CD drive, a USB terminal, a LAN cable terminal, a communication device, and the like.
  • any or all of the input device 110, the data reading device 115, and the output device 120 may be connected to the outside of the processing device 100.
  • the storage device 130 includes a model storage unit 131, a future state prediction result storage unit 132, a reward function storage unit 133, and a control law storage unit 134.
  • the future state prediction result storage unit 132 has substantially the same function as that of the first embodiment.
  • the model storage unit 131 may have the same function as in the first embodiment, but in the control, the operation amount and the behavior of the simulation target may change in addition to the state.
  • the behavior of the simulation target changes depending on the operation amount
  • the attenuation type state transition matrix can be calculated in the same manner as in the first embodiment by adding information on the operation amount to the model.
  • the reward function storage unit 133 is a part that stores control targets such as target positions and target speeds in the form of functions, tables, vectors, matrices, and the like.
  • a function, a table, a vector, a matrix, and the like having the control target information are referred to as a reward function R.
  • FIG. 6 An example when the reward function is in the vector format is shown in FIG. 6, the reward function R is represented by a numerical value for each state ID of the transition source. According to this figure, the state s is treated as a discrete space divided into n by dividing the whole into ranges, and the target is to transition from the initial state to the state s3.
  • the element value of the target vector is 1 for the state s3 and 0 for the other states.
  • the element value of the vector and the value of the reward function R are referred to as reward.
  • the reward in the control is exemplified by a desired value or objective function at the time of reinforcement learning in AI.
  • control law storage unit 134 is a part that stores the optimal control law for the control target.
  • An example of the control law stored in the control law storage unit 134 is shown in FIG.
  • the operation amount ID is represented by a numerical value for each transition state ID (si).
  • the arithmetic device 150 processes the data input from the input device 110 and the data reading device 115 and the data stored in the storage device 130, and outputs the result to the output device 120 or to the storage device 130. It is recorded and consists of the following processing units.
  • the input control unit 151 is a part that performs processing of dividing data input from the input device 110 or the data reading device 115 into commands, models, and the like and transferring them to each unit of the storage device or the arithmetic device.
  • the future state prediction calculation unit 152 is equivalent to the future state prediction calculation unit 142 of the first embodiment.
  • the output control unit 153 is also equivalent to the output control unit 143 of the first embodiment.
  • the control law calculation unit 154 calculates an optimal control law (optimum operation amount a) from the attenuation state transition matrix D recorded by the future state prediction result storage unit 132 and the reward function R recorded by the reward function storage unit 133. Calculate and record in the control law storage unit 134.
  • Step 1 First, a function for storing the proximity (or statistical index indicating the ease of transition) between each state s and the target state sgoal by the reward function R is calculated.
  • this function is called a state value function V.
  • the state value function V may be stored in the form of a table, vector, matrix or the like, and the storage format is not limited in the present invention.
  • An example of a method for calculating the state value function V is shown in the following equation (3).
  • the state value function V is the product of the attenuation type state transition matrix D and the reward function R.
  • the state value function V is n-dimensional as shown in FIG. Vector.
  • the element value of the state value function V is higher as the state is more likely to transition to the target state sgoal. In the present invention, this element value is referred to as value.
  • the state value function V of the present invention is equivalent in definition and value to the state value function in the reinforcement learning method.
  • Step 2 Next, using the state value function V, among the transition-destination states sj that can transition from the transition-source state si, the state sj * that is most likely to transition to the target state sgoal Calculate for state si.
  • An example of a method for calculating the state sj * is shown in the following equation (4).
  • T (si, sj) is an element value of si rows and sj columns in the state transition probability matrix T.
  • FIG. 9 An example of the calculation result of the equation (4) is shown in FIG.
  • a transition destination state ID (sj) is represented for each transition state ID (si).
  • the state of the transition source is the state s1
  • the state value function V has a high value in the state s2. Therefore, in the example of FIG. 9, the state s2 is stored as the transition destination state of the transition source state s1.
  • Step 3 In the last step, the operation amount a necessary for making a transition from each state si of the transition source to the state sj * obtained in Step 2 is calculated.
  • the operation amount a can be calculated, for example, by obtaining an inverse model of the model storage unit 131 (a model that inputs the transition source state si and state sj * and outputs the corresponding operation amount a).
  • a control law as shown in FIG. 6 is obtained.
  • the model update unit 155 corrects the model data based on the update data when the update data of the model data recorded in the model storage unit 131 is input from the data reading device 115, and the corrected model Data is recorded in the model storage unit 131.
  • FIG. 10 is a diagram showing a flow of processing performed by the processing apparatus 101.
  • processing step S1301 of FIG. 10 based on a command from the input control unit 141, data related to the model to be simulated and data related to the reward function R are input from the data reading device 115, and the data is stored in the model storage unit 131. It is recorded in the reward function storage unit 133.
  • processing step S1302 data related to the simulation target model recorded in the model storage unit 131 is transferred to the future state prediction calculation unit 142, and an attenuation type state transition matrix D is calculated based on the equation (2). The result is recorded in the future state prediction result storage unit 132.
  • processing step S1303 the attenuation state transition matrix D recorded in the future state prediction result storage unit 132 and the reward function R recorded in the reward function storage unit 133 are transferred to the control law calculation unit 154, and the optimum The control law is calculated and the result is recorded in the control law storage unit 134.
  • processing step S 1304 the data recorded in the future state prediction result storage unit 136 and the control law storage unit 134 is transferred to the output control unit 143 and output to the output device 120.
  • processing step S1305 the control object determines whether or not to end the control.
  • the process proceeds to processing step S1306, and when the control is ended, the flow is also ended.
  • control object calculates the operation amount a and executes the operation.
  • control target transmits the control target measured before and after the operation and the state of the surrounding environment to the data reading device 115.
  • processing step S1308 the input control unit 141 determines whether or not the data reading device 115 has received data on the state of the controlled object and its surrounding environment measured before and after the execution of the operation. If data has been received, the process proceeds to step S1309. If no data has been received, the process returns to step S1305.
  • process step S1309 when the data reading device 115 receives data of the control target and the surrounding environment state measured before and after the operation in the process of process step S1308, the data is recorded in the received data and the model storage unit 131.
  • the model data is transferred to the model update unit 155, and the updated model data is recorded in the model storage unit 131. Then, it progresses to process step S1302.
  • FIG. 11 shows a state transition probability matrix T displayed on the screen as an example of model data recorded in the model storage unit 131.
  • a state transition probability matrix T is displayed on the screen in a matrix format by the movement source state si and the movement destination state sj as an example of the model storage format, and the element values of the matrix are updated through the input device 110 from this screen. You may be able to do it.
  • FIG. 12 shows an example when the attenuation type state transition matrix D stored in the future state prediction result storage unit 132 is displayed on the screen.
  • the attenuation type state transition matrix D is displayed on the screen in a matrix format by the movement source state si and the movement destination state sj.
  • a matrix obtained by normalizing the attenuated state transition matrix D in each row may be displayed on the screen.
  • FIG. 13 is an example when the transition probability distribution P is displayed as data obtained by processing the model data stored in the model storage unit 131. On the screen, the transition probability P is displayed with the transition destination state sj as the horizontal axis.
  • a state setting unit 101, a graph output unit 103, and an elapsed time setting unit 102 for the transition source si are formed on the screen.
  • the state setting unit 101 of the transition source si inputs the transition source state through the input device 110.
  • s3 is illustrated and input.
  • Specific examples of the state of the transition source at the time of input s3 are the temperature, pressure, and flow rate of the simulation target.
  • the state ID is converted into each value of temperature, pressure, and flow rate to be simulated.
  • This conversion can be realized by preparing in advance a correspondence table of ID, temperature, pressure, and flow rate as shown in FIG.
  • the temperature to be simulated was 307 degrees
  • the pressure was 3.4 MPa
  • the flow rate was 0.4 t / h.
  • the elapsed time setting unit 102 can set an appropriate time interval ⁇ t within a preset maximum and minimum time range.
  • the attenuation state transition matrix D in the designated time range is displayed.
  • the attenuation type state transition matrix D when the time range is limited is obtained by, for example, the following equation (5).
  • t min is the minimum value of the specified time range
  • t max is the maximum value of the specified time range
  • ⁇ t is a preset time.
  • tp is the specified elapsed time.
  • an attenuation type state transition matrix D when tp is 50 seconds is displayed. With the graph displayed on this screen, it is possible to confirm the probability p of transition from the transition source state to each state within the specified elapsed time tp or t min to t max .
  • FIGS. 15, 16, 17, and 18 are examples of screens displayed on the output device 120 in the second embodiment.
  • FIG. 15 shows the reward function R recorded in the reward function storage unit 133, the control law recorded in the control law storage unit 134, the state value function calculated by the control law calculation unit 154, and the control law calculation unit 154. It is an example when the table of the state sj * for the transition source state si is displayed on the screen. The element value of the reward function may be updated through the input device 110 from this screen. In addition, the state ID in the screen may be displayed on the screen with values of temperature, pressure, and flow rate corresponding to the state ID based on the example of the table as shown in FIG. 14 by bringing the mouse cursor closer. .
  • FIG. 16 is an example of displaying on the screen a graph 105 that predicts how the state of the controlled object and its surrounding environment will change over time due to the control using the control law recorded in the control law storage unit 134. .
  • the state transition with time can be confirmed by pressing the behavior start button 104.
  • a button 109 for switching display may be set so as to display one by one.
  • FIG. 17 is an example of a screen displayed on the screen when updating the model data recorded in the model storage unit 131 in the processing step S1309 in FIG. 10 or the screen in FIG.
  • the model update contents (before and after the update), the update contents of the control law accompanying the model update (before and after the update), and the change in the state transition prediction result over time equivalent to FIG. Buttons 106, 107, and 108 for designating whether or not the model can be updated are displayed.
  • the model update permission button 106 is pressed, the processing step S1309 in FIG. 10 is executed, and when the reject button 107 is pressed, 1309 is not executed.
  • the hold button processing step S is pressed, the processing step S1309 is not executed, but the same screen can be read again even after the hold button 108 is pressed.
  • FIG. 18 is an example of a screen that is different from FIG. 17 in the display method of model update contents (before and after update).
  • the state of the transition source to be updated, the state after the transition, and the transition probability thereof are displayed, whereas FIG. 18 displays the state transition matrix before and after the update.
  • the display screens of FIGS. 17 and 18 display the update contents of the model, the update contents of the control law accompanying the update of the model, and the change of the state transition prediction result over time equivalent to FIG. 16 by the update of the control law.
  • processing device 110 input device 115: data reading device 120: output device 130: storage device 131: model storage unit 132: future state prediction result storage unit 133: reward function storage unit 134: control law storage unit 140, 150: arithmetic device 141, 151: input control unit 142, 152: future state prediction calculation unit 143, 153: output control unit 154: control law calculation unit 155: model update unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

有限の状態の空間内であれば無限時間先における制御対象とその周辺環境の状態を確率密度分布の形式で高速に推定することができる将来状態推定方法および将来状態推定装置を提供する。　模擬対象と模擬対象の周辺環境を模擬するモデルを保存するモデル記憶部と、有限の空間内における無限時間または時間ステップ先の模擬対象と模擬対象の周辺環境の将来状態を確率密度分布の形式で推定した情報を保存する将来状態予測結果記憶部と、模擬対象と模擬対象の周辺環境の将来状態を確率密度分布の形式で模擬するモデルを用い、級数と等価な計算を行う将来状態予測演算部を備えることを特徴とする将来状態推定装置。

Description

将来状態推定装置および将来状態推定方法
　本発明は、主として長期的な将来状態を考慮した制御則を高速に計算する将来状態推定装置および将来状態推定方法に関する。
　自動車やプラント（発電・産業）の分野で一般的に適用されているモデル予測制御は、制御対象とその周辺環境の状態をより遠い将来まで予測したいというニーズがある。
　操作象とその周辺環境の将来状態を予測するため、以下のような装置や方法が存在する。
　特許文献１は、制御対象とその周辺環境を模擬するモデルを用いて将来状態を予測し、その将来状態に適した操作量を計算する方法が開示されている。
　特許文献２には、制御対象となる工業システムの現在および将来の状態を予測し、目的関数を最大化するよう制御則を最適化する方法が開示されている。
　特許文献３には、熱反応炉プロセスのような非線形かつ動的なシステムを回帰手法によってモデル化し、モデルによって予測した将来状態を用いて最適な操作量を計算する方法が開示されている。
　特許文献４は、プラント運用上の制約条件を満たしつつ、目的に応じて制御パラメータを自動的に最適化できると共に、制御パラメータの最適化に要する計算時間を短縮できる制御パラメータ自動調整装置である。プラントモデルと強化学習などの機械学習手法を用いて将来状態を考慮した制御則を計算する方法が開示されている。
特開２０１６－２１２８７２号公報 特開２０１３－１１４６６６号公報 特開２００９－０７６０３６号公報 特開２０１７－１５７１１２号公報
　特許文献１、２、３、４の装置や方法は、制御対象とその周辺環境を模擬するモデルを用いて将来状態を予測し、その予測した将来状態から最適な制御方法を計算する。より遠い将来状態を予測したいというニーズがあるが、繰り返し計算を用いる手法は予測したい将来状態までの時間が長いほど、予測計算に要する時間も長くなる。そこで、計算機の性能や制御周期による制約のなかで予測可能な有限時間先の将来状態まで計算することが一般的である。
　そこで、本発明は事前に定義した有限の状態の空間内であれば無限時間先における制御対象とその周辺環境の状態を確率密度分布の形式で高速に推定することができる将来状態推定装置および将来状態推定方法を提供することを目的とする。
　以上のことから本発明においては「模擬対象と模擬対象の周辺環境を模擬するモデルを保存するモデル記憶部と、有限の空間内における無限時間または時間ステップ先の模擬対象と模擬対象の周辺環境の将来状態を確率密度分布の形式で推定した情報を保存する将来状態予測結果記憶部と、模擬対象と模擬対象の周辺環境の将来状態を確率密度分布の形式で模擬するモデルを用い、級数と等価な計算を行う将来状態予測演算部を備えることを特徴とする将来状態推定装置」としたものである。
　また本発明は、「模擬対象とその周辺環境を模擬するモデルを保存するモデル記憶部と、有限の空間内における無限時間または時間ステップ先の模擬対象と模擬対象の周辺環境の将来状態を確率密度分布の形式で推定した情報を保存する将来状態予測結果記憶部と、模擬対象とその周辺環境を模擬するモデルを用いた級数と等価な計算行う手段と、状態の遷移に関する情報やデータを用いて、モデル記憶部の情報を更新するモデル更新部を備えることを特徴とする将来状態推定装置」としたものである。
　また本発明は、「模擬対象と模擬対象の周辺環境を模擬するモデルを保存し、有限の空間内における無限時間または時間ステップ先の模擬対象と模擬対象の周辺環境の将来状態を確率密度分布の形式で推定した情報を保存し、模擬対象と模擬対象の周辺環境の将来状態を確率密度分布の形式で模擬するモデルを用い、級数と等価な計算を行うことを特徴とする将来状態推定方法」としたものである。
　また本発明は、「模擬対象の挙動を模擬するモデルを用いて将来状態を推定するにあたり、状態遷移の前後における遷移元の状態と遷移先の状態について、遷移元の状態が遷移先の状態となる確率を状態遷移確率行列として記憶し、複数の遷移について将来であるほど低減する重みを加味した状態遷移確率行列の和である減衰型状態遷移行列を求めることを特徴とする将来状態推定方法」としたものである。
　本発明によれば、予測したい将来状態までの時間に依存することなく、無限時間先の制御対象とその周辺環境の将来状態を確率密度分布の形式で計算できる。
　また本発明の実施例によれば、この計算結果を用いることで、無限時間先の将来状態を考慮した最適な制御則を計算することができる。
　また本発明の実施例によれば、自動設計の分野では存在し得る全ての経路を考慮した経路の最適化方法や、ファイナンスの分野では遠い将来状態を考慮した価格決定方法、バイオエンジニアリングの分野ではモデル化可能な範囲にある全経路を考慮した代謝経路の最適化方法とすることができる。
本発明の実施例１に係る長期将来状態の高速推定方法を実装した処理装置の一例を表す構成図。 モデル記憶部１３１で保存するモデルの形式が状態遷移確率行列Ｔであった場合の一例を示す図。 （１）式の処理を模式的に示した図。 処理装置１００が行う処理のフローを示す図。 実施例１の処理装置１００をモデルベース制御の最適化に拡張した、処理装置１０１の一例を表す構成図。 報酬関数がベクトル形式の場合の一例を示す図。 制御則記憶部１３４に保存する制御則の一例を示す図。 状態価値関数Ｖの一例を示す図。 （４）式の計算結果の一例を示す図。 処理装置１０１が行う処理のフローを示す図。 モデル記憶部１３１で記録したモデルデータの一例として状態遷移確率行列Ｔを画面に表示した例を示す図。 将来状態予測結果記憶部１３２に保存する減衰型状態遷移行列Ｄを画面に表示した例を示す図。 モデル記憶部１３１で保存するモデルデータを加工したデータとして遷移確率分布Ｐを表示した例を示す図。 状態のＩＤと温度、圧力、流量の関係を事前に作成した対応表を示す図。 報酬関数Ｒと、制御則と、状態価値関数と、遷移元の状態ｓｉに対する状態ｓｊ＊の表を画面に表示した一例を示す図。 、制御則を用いた制御によって、制御対象とその周辺環境の状態が時間経過でどのように変化するか予測したグラフ１０５を画面に表示した例を示す図。 モデル記憶部１３１で記録したモデルデータを更新する際に画面に表示される画面の一例を示す図。 図１７とはモデルの更新内容（更新前後）の表示方法が異なる画面の一例を示す図。
　以下、図面を用いて実施例を説明する。
　図１は、本発明の実施例１に係る長期将来状態の高速推定方法を実装した処理装置１００の一例を表す構成図である。処理装置１００は、入力装置１１０、データ読み込み装置１１５、出力装置１２０、記憶装置１３０、演算装置１４０を主たる要素として構成されている。
　このうち入力装置１１０は、操作者の指示を受け付ける部分であり、ボタン、タッチパネルなどで構成されている。
　データ読み込み装置１１５は、処理装置１００の外部からデータを受け付ける部分であり、ＣＤドライブ、ＵＳＢ端子、ＬＡＮケーブル端子、通信装置などで構成されている。
　出力装置１２０は、操作者への指示情報、読取画像、読取結果などを出力する装置であり、ディスプレイや通信装置で構成されている。
　上記したこれらの構成は標準的なものであり、入力装置１１０、データ読み込み装置１１５、出力装置１２０のいずれかまたはすべてが処理装置１００の外部に接続される構成でも良い。
　記憶装置１３０は、各種のデータを記憶する部分であり、モデル記憶部１３１と将来状態予測結果記憶部１３２から構成されている。このうちモデル記憶部１３１は、処理装置１００で将来状態の予測対象とする物体や現象の挙動を模擬するモデルを保存する部分である。また将来状態予測結果記憶部１３２は、後述する将来状態予測演算部１４２の演算結果を保存する部分である。記憶装置１３０の詳細は後述することにし、ここでは概略機能のみを述べている。
　演算装置１４０は、入力装置１１０、データ読み込み装置１１５から入力されるデータおよび記憶装置１３０に記憶されたデータを処理し、その結果を出力装置１２０に出力または記憶装置１３０に記録するものであり、以下の処理部（入力制御部１４１、将来状態予測結果記憶部１３２、出力制御部１４３）から構成されている。
　入力制御部１４１は、入力装置１１０またはデータ読み込み装置１１５から入力されるデータを指令、モデルなどに区分し、記憶装置１３０や演算装置１４０の各部へ転送する処理を行なう部分である。
　将来状態予測演算部１４２は、モデル記憶部１３１で記憶したモデルデータから、減衰型状態遷移行列を計算し、将来状態予測結果記憶部１３２に記録する。
　出力制御部１４３は、記憶装置１３０に記憶されたデータを、出力装置１２０へ出力する部分である。出力先が画面などのときは、読み取り操作が行われる都度結果が出力されるのが好ましい。出力先が通信先などのときは、出力処理は状態遷移確率行列の更新や将来状態予測演算部１４２の演算が行われる都度でも良いし、何回かのデータをまとめる、あらかじめ定めた時間ごとにまとめるなどして処理しても良い。
　以下、図１の処理装置１００を用いて実行される処理の詳細について説明する。なお以下の説明に当たり、本発明では将来状態の予測対象とする物体や現象を模擬対象と呼ぶこととする。模擬対象の例として、機械や生物の挙動、自然や物理現象、化学反応、金銭や物価の変動、消費者の需要の変化などがあるが、本発明では模擬対象をこれらの例に限定しない。
　本発明でのモデルの入力は模擬対象の状態と時間経過や、操作、外乱などの影響因子であり、出力は影響因子の影響を受けた後の模擬対象の状態であり、本発明ではこのモデルを状態遷移モデルと呼ぶこととする。状態遷移モデルなどのモデルは、図１のモデル記憶部１３１に記憶されている。また状態遷移モデルは、有限の状態空間内において、無限時間または無限ステップ先における模擬対象とその周辺環境の状態を確率密度分布の形式で表現している。
　モデル記憶部１３１における状態遷移モデルなどの保存形式の一例として、例えば状態遷移確率行列や、ニューラルネットワーク、動径基底関数ネットワーク、またはニューラルネットワークや動径基底関数ネットワークの重みが現されている行列が考えられるが、本発明は模擬対象のモデル保存形式をこれらの例に限定しない。
　モデル記憶部１３１で保存するモデルの形式が状態遷移確率行列Ｔであった場合の一例を図２に示す。図２は、遷移元の状態ｓｉ（ｉ＝１、２、・・・ｎ）と遷移先の状態ｓｊ（ｊ＝１、２、・・・ｎ）を縦横のマトリクスにして示しており、マトリクス内には状態遷移確率Ｐ（ｓｊ｜ｓｉ）を数値表示している。遷移確率行列Ｔは一般的に制御対象の運動特性や物理現象を模擬するモデルの一種であり、すべての状態間の遷移確率を保存する関数または行列）である。ここで、表の行が遷移元の状態ｓｉ（ｉ＝１、２、・・・ｎ）、列が遷移先の状態ｓｊ（ｊ＝１、２、・・・ｎ）、要素Ｔｉｊは事前に設定した刻み時間Δｔ（またはステップ）が経過した際に、状態が状態ｓｉから状態ｓｊに遷移する確率Ｐ（ｓｊ｜ｓｉ）である。
　本発明が適用される模擬対象について、無限時間または無限ステップ先における模擬対象とその周辺環境の状態を確率密度分布の形式で推定するにあたり、推定する将来状態までの距離、時間、ステップのいずれか一つ以上に計算時間が依存しないものであってもよい。状態遷移確率Ｐ（ｓｊ｜ｓｉ）が時間に依存しない場合は、影響因子が模擬対象に干渉した量や回数を示すステップτを時間ｔの代わりに用いても良い。
　図２は、遷移元の状態ｓｉのうちｓ１に着目したとき、経過時間Δｔ後における遷移先の状態ｓｊにおいて、ｓ１となる確率Ｐ（ｓ１｜ｓ１）が０．５であり、ｓ２となる確率Ｐ（ｓ２｜ｓ１）が０．５であり、ｓ３以降となる確率Ｐ（ｓ３｜ｓ１）は０であることを表している。同様にｓ２に着目したとき、経過時間Δｔ後における遷移先の状態ｓｊにおいて、ｓ１となる確率Ｐ（ｓ１｜ｓ２）が０であり、ｓ２となる確率Ｐ（ｓ２｜ｓ２）が０．２５であり、ｓ３となる確率Ｐ（ｓ３｜ｓ２）は０．５であり、ｓ４となる確率Ｐ（ｓ４｜ｓ１）が０．２５であることを示している。なお図２の表は、遷移元の状態と遷移後に移動する移動先の確率を示しているので、この表は確率密度分布の表とみることができる。確率密度分布は、例えば山状の形状を示す。
　なお上記説明においては、状態遷移確率行列Ｔについて、経過時間Δｔの前後の一断面のみを示す表Ｔｉｊを例示しているが、実際にはさらに経過時間Δｔ刻みの表が連続的に存在して、モデル記憶部１３１で保存するモデルである状態遷移確率行列Ｔが形成されている。表Ｔｉｊの経過時間Δｔ後の表がＴｉ＋１、ｊ＋１であり、さらに経過時間Δｔ後の表がＴｉ＋２、ｊ＋２である。
　図２の例では状態ｓは全体を範囲に区切ってｎ分割した離散空間として扱っているが、ニューラルネットワーク、動径基底関数ネットワークなどを用いることで、状態ｓを連続空間としても扱うことができる。また、ニューラルネットワーク、動径基底関数ネットワークなどを用いる場合は、ニューロンへ入る入力信号の重み係数や、基底関数の重み係数を要素値とした行列で状態遷移確率行列Ｔを代用しても良い。
　図１に戻って、将来状態予測結果記憶部１３２は、将来状態予測演算部１４２の演算結果を保存する部分である。本発明では将来状態予測結果記憶部１３２に保存するデータを減衰型状態遷移行列と呼ぶこととする。減衰型状態遷移行列とその計算方法については後述する。
　将来状態予測演算部１４２は、モデル記憶部１３１で記録したモデルデータから、減衰型状態遷移行列を計算し、将来状態予測結果記憶部１３２に記録する。減衰型状態遷移行列を計算する方法の一例を、以下の（１）式に示す。なお、（１）式の例ではモデル記憶部１３１でのモデルの保存形式を状態遷移確率行列Ｔと仮定した。
Figure JPOXMLDOC01-appb-M000001
　（１）式において、Ｄは減衰型状態遷移行列、γは減衰率とよぶ０以上で１未満の定数である。また、ＴｋはΔｔ×ｋの時間が経過した際の、すべての状態間の遷移確率を保存する関数（または行列）である。
　図３は、（１）式の処理を模式的に示した図であり、図２の経過時間Δｔごとの複数の状態遷移確率行列Ｔｉｊについて、経過時間Δｔごとに減衰していく重み係数γを乗じ、その合計を算出したものである。なお図３において、複数の状態遷移確率行列Ｔｉｊにおける遷移元の状態ｓｉと遷移先の状態ｓｊを示す確率分布は、例えば山状の特性群として把握されている。
　このように、減衰型状態遷移行列Ｄは、Δｔ時間経過後の状態遷移確率行列ＴからΔｔ×∞時間経過後の状態遷移確率行列Ｔ∞までの和であり、すべての状態間の統計的な近さを保存する行列でもある。また、遠い将来に遷移する状態ほど重みを下げるため、経過時間に応じて減衰率γの分を多く掛けている。
　現時点における状態遷移確率行列Ｔから∞時間経過後における状態遷移確率行列Ｔ∞までの計算を必要とする（１）式は、実時間以内の計算が困難である。そこで本発明は（１）式を以下の（２）式に変換したことを特徴とする。（２）式は要するに、無限時間または無限ステップ先における模擬対象とその周辺環境の状態を確率密度分布の形式で推定するにあたり、状態遷移確率行列の級数と等価な計算を行うものである。
Figure JPOXMLDOC01-appb-M000002
　（２）式において、Ｅは単位行列である。（２）式は（１）式と等価の計算式である。（１）式の状態遷移確率行列Ｔから状態遷移確率行列Ｔ∞までの和の計算を、（２）式では（Ｅ－γＴ）の逆行列に変換することによって、有限時間以内に（１）式と同じ計算結果が得られる。ここで、状態遷移確率行列Ｔが線形独立でない場合は、擬似逆行列を用いても良い。また、減衰型状態遷移行列Ｄの代わりに、減衰型状態遷移行列を各行で正規化した行列を用いても良い。
　このように本発明は、模擬対象の挙動を模擬するモデルを状態遷移モデルとすることで、Ｔｋの計算でΔｔ×ｋ時間後の状態遷移確率を計算することを可能とした。また、Δｔ時間経過後の状態遷移確率行列ＴからΔｔ×∞時間経過後の状態遷移確率行列Ｔ∞までの和をとり、経過時間によって減衰率γによる重み付けによって、Δｔ×∞時間経過後を考慮した状態遷移確率を、有限時間以内に計算することを可能とした。
　図４は、処理装置１００が行う処理のフローを示す図である。
　まず処理ステップＳ１２０１の処理により、入力制御部１４１からの指令にもとづいて、データ読み込み装置１１５から、模擬対象のモデルに関するデータが入力され、そのデータはモデル記憶部１３１に記録される。
　つぎに処理ステップＳ１２０２の処理により、モデル記憶部１３１に記録された模擬対象のモデルに関するデータが将来状態予測演算部１４２に転送され、（２）式に基づいて減衰型状態遷移行列Dが計算され、その結果は将来状態予測結果記憶部１３２に記録される。
　最後に処理ステップＳ１２０３の処理により、将来状態予測結果記憶部１３６に記録されたデータが出力制御部１４３へ転送され、出力装置１２０へ出力される。
　図５は、実施例１の処理装置１００をモデルベース制御の最適化に拡張した、処理装置１０１の一例を表す構成図である。処理装置１０１における模擬対象は、制御対象とその周辺環境の挙動であり、モデル記憶部１３１に保存するモデルも制御対象とその周辺環境の挙動を模擬する。このように実施例２では、模擬対象が制御対象を含んでいる場合を想定している。
　処理装置１０１は、入力装置１１０、データ読み込み装置１１５、出力装置１２０、記憶装置１３０、演算装置１５０を主たる要素として構成されている。
　このうち入力装置１１０は、操作者の指示を受け付ける部分であり、ボタン、タッチパネルなどで構成されている。
　データ読み込み装置１１５は、処理装置１００の外部からデータを受け付ける部分であり、ＣＤドライブ、ＵＳＢ端子、ＬＡＮケーブル端子、通信装置などで構成されている。
　出力装置１２０は、操作者への指示情報、読取画像、読取結果などを出力する装置であり、ディスプレイ、ＣＤドライブ、ＵＳＢ端子、ＬＡＮケーブル端子、通信装置などで構成されている。
　上記したこれらの構成は標準的なものであり、入力装置１１０、データ読み込み装置１１５、出力装置１２０のいずれかまたはすべてが処理装置１００の外部に接続される構成でも良い。
　記憶装置１３０は、モデル記憶部１３１、将来状態予測結果記憶部１３２、報酬関数記憶部１３３、制御則記憶部１３４から構成されている。このうち将来状態予測結果記憶部１３２については実施例１とほぼ等しい機能のものである。
　モデル記憶部１３１は実施例１と等しい機能の場合もあるが、制御においては状態以外に操作量も模擬対象の挙動が変化する場合もある。操作量によって模擬対象の挙動が変化する場合は、モデルに操作量の情報を加えることで、実施例１と同じく減衰型状態遷移行列が計算できる。
　報酬関数記憶部１３３は、目標位置や目標速度などの制御目標を関数、表、ベクトル、行列などの形式で保存する部分である。本発明ではこの制御目標の情報を有する関数、表、ベクトル、行列などを報酬関数Ｒと呼ぶこととする。報酬関数がベクトル形式の場合の一例を図６に示す。図６では、遷移元の状態ＩＤごとに報酬関数Ｒを数値で表している。この図によれば、状態ｓは全体を範囲に区切ってｎ分割した離散空間として扱っており、初期の状態から状態ｓ３へ遷移することを目標とした。ここでは目標とするベクトルの要素値は、状態ｓ３を１、その他の状態を０とした。本発明では、このベクトルの要素値や、報酬関数Ｒの値を報酬と呼ぶこととする。なお制御における報酬としては、ＡＩにおける強化学習の際の希望値或は目的関数が例示される。
　図５に戻って、制御則記憶部１３４は制御目標に対して最適な制御則を保存する部分である。制御則記憶部１３４に保存する制御則の一例を図７に示す。図７では、遷移元の状態ＩＤ（ｓｉ）ごとに操作量ＩＤを数値で表している。この図によれば、状態ｓｉは全体を範囲に区切ってｎ分割した離散空間として扱っており、各状態の範囲に対して最適な操作量ａｃ（ｃ＝１、２・・・ｍ）が保存されている。最適な操作量ａの計算方法については後述する。
　図５に戻って、演算装置１５０は、入力装置１１０、データ読み込み装置１１５から入力されるデータおよび記憶装置１３０に記憶されたデータを処理し、その結果を出力装置１２０に出力または記憶装置１３０に記録するものであり、以下の処理部から構成されている。
　入力制御部１５１は、入力装置１１０またはデータ読み込み装置１１５から入力されるデータを指令、モデル、などに区分し、記憶装置や演算装置の各部へ転送する処理を行なう部分である。
　将来状態予測演算部１５２は、実施例１の将来状態予測演算部１４２と等価である。また、出力制御部１５３についても、実施例１の出力制御部１４３と等価である。
　制御則演算部１５４は、将来状態予測結果記憶部１３２で記録した減衰型状態遷移行列Ｄと、報酬関数記憶部１３３で記録した報酬関数Ｒから、最適な制御則（最適な操作量ａ）を計算し、制御則記憶部１３４に記録する。
　最適な制御則を計算する方法の一例を以下に示す。本例では、最適な制御則を求めるために以下の３段階で計算する。
　段階１：先ず、各状態ｓと報酬関数Ｒで目標とする状態ｓｇｏａｌとの近さ（または遷移しやすさを示す統計的な指標）を保存する関数を計算する。この関数を本発明では状態価値関数Ｖと呼ぶこととする。また、状態価値関数Ｖは関数以外にも表、ベクトル、行列などの形式で保存してもよく、本発明において保存形式は限定しない。状態価値関数Ｖの計算方法の一例を以下の（３）式に示す。
Figure JPOXMLDOC01-appb-M000003
　上記（３）式に示すように、状態価値関数Ｖは減衰型状態遷移行列Ｄと報酬関数Ｒの積である。例えば、図２と図６に示したように、減衰型状態遷移行列Ｄがｎ×ｎの行列、報酬関数Ｒがｎ次元のベクトルの場合、状態価値関数Ｖは図８に示すようなｎ次元のベクトルとなる。状態価値関数Ｖの要素値は目標とする状態ｓｇｏａｌへ遷移しやすい状態ほど高い。本発明ではこの要素値を価値と呼ぶこととする。また、本発明の状態価値関数Ｖは、強化学習法での状態価値関数の定義と値が等価となる。
　段階２：次に、状態価値関数Ｖを用いて、遷移元の状態ｓｉから遷移できる遷移先の状態ｓｊの中で、最も目標とする状態ｓｇｏａｌへ遷移しやすい状態ｓｊ＊を、遷移元の各状態ｓｉについて計算する。状態ｓｊ＊の計算方法の一例を以下の（４）式に示す。
Figure JPOXMLDOC01-appb-M000004
　ここでＴ（ｓｉ、ｓｊ）とは、状態遷移確率行列Ｔにおけるｓｉ行、ｓｊ列の要素値である。（４）式の計算結果の一例を図９に示す。図９では、遷移元の状態ＩＤ（ｓｉ）ごとに遷移先の状態ＩＤ（ｓｊ）を表している。この図９によれば、遷移元の状態が状態ｓ１の場合、状態遷移確率行列Ｔ（図２）において、遷移先となる得る状態は状態ｓ１か状態ｓ２の２つである。この２つの状態のうち、状態価値関数Ｖで価値が高いのは状態ｓ２である。そのため図９の例において、遷移元の状態ｓ１の遷移先の状態として状態ｓ２が保存されている。
　段階３：最後の段階では、遷移元の各状態ｓｉから、段階２で得られた状態ｓｊ＊へ遷移するために必要な操作量ａを計算する。操作量ａの計算は、例えばモデル記憶部１３１の逆モデル（遷移元の状態ｓｉと状態ｓｊ＊を入力として、対応する操作量ａを出力するモデル）を求めることで計算できる。段階３の計算結果としては、例えば図６に示したような制御則が得られる。
　このように上記（３）式で価値を計算することによって、各状態におけるｓｇｏａｌへの遷移し易さが評価を可能とし、上記（４）式によってΔｔ時間経過によって遷移できる状態のうち最もｓｇｏａｌへ遷移し易い状態ｓｊ＊の特定を可能とし、逆モデルによって状態ｓｊ＊へ遷移するための操作量ａの特定を可能としている。
　図５に戻って、モデル更新部１５５は、データ読み込み装置１１５からモデル記憶部１３１に記録したモデルデータの更新データが入力された際に、モデルデータを更新データに基づいて修正し、修正したモデルデータをモデル記憶部１３１に記録する。
　図１０は、処理装置１０１が行う処理のフローを示す図である。
　まず図１０の処理ステップＳ１３０１では、入力制御部１４１からの指令にもとづいて、データ読み込み装置１１５から、模擬対象のモデルに関するデータと報酬関数Ｒに関するデータが入力され、そのデータはモデル記憶部１３１と報酬関数記憶部１３３に記録される。
　つぎに処理ステップＳ１３０２では、モデル記憶部１３１に記録された模擬対象のモデルに関するデータが将来状態予測演算部１４２に転送され、（２）式に基づいて減衰型状態遷移行列Ｄが計算され、その結果は将来状態予測結果記憶部１３２に記録される。
　つぎに処理ステップＳ１３０３では、将来状態予測結果記憶部１３２に記録された減衰型状態遷移行列Ｄと、報酬関数記憶部１３３に記録された報酬関数Ｒが制御則演算部１５４に転送され、最適な制御則を計算し、その結果を制御則記憶部１３４に記録する。
　つぎに処理ステップＳ１３０４では、将来状態予測結果記憶部１３６と制御則記憶部１３４に記録されたデータが出力制御部１４３へ転送され、出力装置１２０へ出力される。
　つぎに処理ステップＳ１３０５では、制御対象は制御を終了するか否かを判定する。制御を継続する場合は処理ステップＳ１３０６へ進み、制御を終了する場合はフローも終了となる。
　つぎに処理ステップＳ１３０６では、出力装置１２０から制御対象に送られた制御則に基づいて、制御対象は操作量ａを計算し、操作を実行する。
　つぎに処理ステップＳ１３０７では、制御対象は操作の実行前と後に計測した制御対象およびその周辺環境の状態をデータ読み込み装置１１５に対して送信する。
　つぎに処理ステップＳ１３０８では、入力制御部１４１は、データ読み込み装置１１５が操作の実行前と後に計測した制御対象およびその周辺環境の状態のデータを受信したか否かを判定する。データを受信した場合、処理ステップＳ１３０９へ進み、データを受信しなかった場合は処理ステップＳ１３０５へ戻る。
　処理ステップＳ１３０９では、処理ステップＳ１３０８の処理においてデータ読み込み装置１１５が操作の実行前と後に計測した制御対象およびその周辺環境の状態のデータを受信した場合、受信データとモデル記憶部１３１に記録されるモデルデータがモデル更新部１５５に転送され、更新されたモデルデータがモデル記憶部１３１に記録される。その後、処理ステップＳ１３０２へ進む。
　図１１、図１２、図１３は実施例１と実施例２において、出力装置１２０に表示する画面の一例である。
　図１１は、モデル記憶部１３１で記録したモデルデータの一例として状態遷移確率行列Ｔを画面に表示したものである。図では、モデルの保存形式の一例として状態遷移確率行列Ｔを、移動元状態ｓｉと移動先状態ｓｊによるマトリクス形式により画面に表示しており、行列の要素値は本画面から入力装置１１０を通して更新できるようにしてもよい。
　図１２は、将来状態予測結果記憶部１３２に保存する減衰型状態遷移行列Ｄを画面に表示した場合の一例である。図では、減衰型状態遷移行列Ｄを、移動元状態ｓｉと移動先状態ｓｊによるマトリクス形式により画面に表示している。なお画面に表示するのは、減衰型状態遷移行列Ｄの代わりに、減衰型状態遷移行列Ｄを各行で正規化した行列でもよい。
　図１３は、モデル記憶部１３１で保存するモデルデータを加工したデータとして遷移確率分布Ｐを表示した場合の一例である。画面では、遷移先の状態ｓｊを横軸にして遷移確率Ｐを表示している。
　また画面には、遷移元ｓｉの状態設定部１０１とグラフ出力部１０３と経過時間の設定部１０２が形成されている。遷移元ｓｉの状態設定部１０１では、入力装置１１０を通して遷移元の状態を入力する。ここではｓ３を例示し、入力したものとする。入力したｓ３のときの遷移元の状態の具体例は、模擬対象の温度、圧力、流量である。ここでは状態ＩＤボタンからａ３を入力すると、状態のＩＤから模擬対象の温度、圧力、流量の各値に変換するようになっている。
　この変換は図１４に示すような状態のＩＤと温度、圧力、流量の対応表を事前に作成しておくことで実現できる。この例では、ｓ３が選択されたので、模擬対象の温度３０７度、圧力３．４ＭＰａ、流量０．４ｔ／ｈをそれぞれ表示した。
　また図１３のグラフ出力部１０３において、グラフ出力ボタンを押すと、事前に設定した状態ＩＤにあたる行の減衰型状態遷移行列の要素値をグラフ化した図が画面に表示される。
　また、経過時間の設定部１０２では、予め設定された最大最少時間の範囲内で適宜の時間間隔Δｔを設定可能である。時間の範囲を指定することで、指定した時間範囲での減衰型状態遷移行列Ｄを表示する。時間の範囲を限定した場合の減衰型状態遷移行列Ｄは、例えば以下の（５）式によって求められる。
Figure JPOXMLDOC01-appb-M000005
ここで、ｔｍｉｎは指定した時間範囲の最小値、ｔｍａｘは指定した時間範囲の最大値、Δｔは事前に設定した刻み時間である。また、画面右のスクロールを調整することで、特定の時間経過時の減衰型状態遷移行列Ｄを画面に表示させることができる。指定した時間経過時の減衰型状態遷移行列Ｄは、例えば以下の（６）式によって求められる。
Figure JPOXMLDOC01-appb-M000006
　ここで、ｔｐは指定した経過時間である。図１２の画面の例ではｔｐが５０秒である場合の減衰型状態遷移行列Ｄを表示している。本画面で表示するグラフによって、指定した経過時間ｔｐまたはｔｍｉｎからｔｍａｘの時間の範囲において、遷移元の状態から各状態へ遷移する確率ｐを確認することができる。
　図１５、図１６、図１７、図１８は実施例２において、出力装置１２０に表示する画面の一例である。
　図１５は、報酬関数記憶部１３３に記録した報酬関数Ｒと、制御則記憶部１３４に記録した制御則と、制御則演算部１５４で計算した状態価値関数と、制御則演算部１５４で計算した遷移元の状態ｓｉに対する状態ｓｊ＊の表を画面に表示した場合の一例である。報酬関数の要素値は本画面から入力装置１１０を通して更新できるようにしてもよい。また、画面中の状態ＩＤはマウスカーソルを近づけることで、図１４に示したような表の例に基づいて、状態ＩＤに対応した温度、圧力、流量の値を画面上に表示してもよい。
　図１６は、制御則記憶部１３４に記録した制御則を用いた制御によって、制御対象とその周辺環境の状態が時間経過でどのように変化するか予測したグラフ１０５を画面に表示した一例である。画面上で初期状態を設定した後、挙動開始ボタン１０４を押すことで、時間経過に対する状態の遷移を確認できる。例のように、状態が温度、圧力、流量の３つに関連している場合、一ずつ表示するように表示を切り替えるボタン１０９を設定してもよい。
　図１７は、図１０の処理ステップＳ１３０９や、図１２の画面において、モデル記憶部１３１で記録したモデルデータを更新する際に画面に表示される画面の一例である。本画面には、モデルの更新内容（更新前後）と、モデルの更新に伴う制御則の更新内容（更新前後）、制御則の更新によって図１６と等価な時間経過による状態遷移予測結果の変化（更新前後）と、モデル更新の可否を指定するボタン１０６、１０７、１０８が表示される。モデル更新の許可ボタン１０６を押すと図１０の処理ステップＳ１３０９が実行され、却下ボタン１０７を押すと１３０９は実行されない。また、保留ボタン処理ステップＳを押すと処理ステップＳ１３０９は実行されないが、保留ボタン１０８を押した後でも再び同じ画面を読み出すことができる。
　図１８は、図１７とはモデルの更新内容（更新前後）の表示方法が異なる画面の一例である。図１７では更新対象となる遷移元の状態と遷移後の状態とその遷移確率が表示してあるのに対して、図１８は更新前と更新後の状態遷移行列を表示する。
　図１７と図１８の表示画面は、モデルの更新内容と、モデルの更新に伴う制御則の更新内容、制御則の更新によって図１６と等価な時間経過による状態遷移予測結果の変化を表示することで、モデルの更新が制御則や制御の結果による制御対象への影響を安易に確認することを可能としており、制御対象への影響からモデルの更新有無をスムーズに判断することが可能となる。
１００、１０１：処理装置
１１０：入力装置
１１５：データ読み込み装置
１２０：出力装置
１３０：記憶装置
１３１：モデル記憶部
１３２：将来状態予測結果記憶部
１３３：報酬関数記憶部
１３４：制御則記憶部
１４０、１５０：演算装置
１４１、１５１：入力制御部
１４２、１５２：将来状態予測演算部
１４３、１５３：出力制御部
１５４：制御則演算部
１５５：モデル更新部

Claims (15)

  1. 　模擬対象と模擬対象の周辺環境を模擬するモデルを保存するモデル記憶部と、
    　有限の空間内における無限時間または時間ステップ先の前記模擬対象と前記模擬対象の周辺環境の将来状態を確率密度分布の形式で推定した情報を保存する将来状態予測結果記憶部と、
    　前記模擬対象と前記模擬対象の周辺環境の将来状態を確率密度分布の形式で模擬するモデルを用い、級数と等価な計算を行う将来状態予測演算部を備えることを特徴とする将来状態推定装置。
  2. 　請求項１に記載の将来状態推定装置であって、
    　前記将来状態予測演算部は、無限時間または無限ステップ先における前記模擬対象と前記模擬対象の周辺環境の状態を確率密度分布の形式で推定するにあたり、状態遷移確率行列の級数と等価な計算を行うことを特徴とする将来状態推定装置。
  3. 　請求項１または請求項２に記載の将来状態推定装置であって、
    　前記将来状態予測演算部は、無限時間または無限ステップ先における前記模擬対象と前記模擬対象の周辺環境の状態を確率密度分布の形式で推定するにあたり、推定する将来状態までの距離、時間、ステップのいずれか一つ以上に計算時間が依存しないことを特徴とする将来状態推定装置。
  4. 　請求項１から請求項３のいずれか1項に記載の将来状態推定装置であって、
    　前記模擬対象は制御対象を含んでおり、前記将来状態予測演算部において推定した無限時間または無限ステップ先における前記模擬対象と前記模擬対象の周辺環境の状態の推定結果を用いて、前記制御対象の操作量を計算する制御則演算部を備えていることを特徴とする将来状態推定装置。
  5. 　模擬対象とその周辺環境を模擬するモデルを保存するモデル記憶部と、
    　有限の空間内における無限時間または時間ステップ先の前記模擬対象と前記模擬対象の周辺環境の将来状態を確率密度分布の形式で推定した情報を保存する将来状態予測結果記憶部と、
    　模擬対象とその周辺環境を模擬するモデルを用いた級数と等価な計算を行う手段と、
    　状態の遷移に関する情報やデータを用いて、前記モデル記憶部の情報を更新するモデル更新部を備えることを特徴とする将来状態推定装置。
  6. 　前記模擬対象は制御対象を含んでいる、請求項５に記載の将来状態推定装置であって、
    　前記制御対象における操作の目的と状態に応じて最適な操作を保存する制御則記憶部と、
    　報酬関数や目的関数などの操作の目的に関する情報を保存する報酬関数記憶部と、
    　前記将来状態予測結果記憶部と前記報酬関数記憶部に保存した情報を用いて、前記制御対象における操作の目的と状態に応じて最適な制御則を出力する制御則演算部を備えることを特徴とする将来状態推定装置。
  7. 　表示手段を備える、請求項５または請求項６に記載の将来状態推定装置であって、
    　前記表示手段には、更新前のモデル、更新後のモデル、更新前と更新後のモデルの違いに関する情報のいずれか２つ以上を出力することを特徴とする将来状態推定装置。
  8. 　表示手段を備える、請求項５から請求項７のいずれか1項に記載の将来状態推定装置であって、
    　前記表示手段には、指定した経過時間、経過ステップ、時間の範囲、ステップの範囲のいずれか一つ以上における遷移元の状態から各状態へ遷移する確率を表示することを特徴とする将来状態推定装置。
  9. 　表示手段を備える、請求項５から請求項８のいずれか1項に記載の将来状態推定装置であって、
    　前記表示手段には、更新前のモデル、更新後のモデル、更新前と更新後のモデルの違いに関する情報のいずれか２つ以上と、
    　モデル更新前の制御則、モデル更新後の制御則、モデル更新前と更新後の制御則の違いに関する情報のいずれか２つ以上と、
    　モデル更新前の時間経過による状態の遷移予測結果、モデル更新後の時間経過による状態の遷移予測結果、モデル更新前と更新後の時間経過による状態の遷移予測結果の違いに関する情報のいずれか２つ以上と、
    　モデル更新の可否を指定する手段を表示していることを特徴とする将来状態推定装置。
  10. 　模擬対象と模擬対象の周辺環境を模擬するモデルを保存し、
    　有限の空間内における無限時間または時間ステップ先の前記模擬対象と前記模擬対象の周辺環境の将来状態を確率密度分布の形式で推定した情報を保存し、
    　前記模擬対象と前記模擬対象の周辺環境の将来状態を確率密度分布の形式で模擬するモデルを用い、級数と等価な計算を行うことを特徴とする将来状態推定方法。
  11. 　請求項１０に記載の将来状態推定方法であって、
    　無限時間または無限ステップ先における前記模擬対象と前記模擬対象の周辺環境の状態を確率密度分布の形式で推定するにあたり、状態遷移確率行列の級数と等価な計算を行うことを特徴とする将来状態推定方法。
  12. 　請求項１０または請求項１１に記載の将来状態推定方法であって、
    　無限時間または無限ステップ先における前記模擬対象と前記模擬対象の周辺環境の状態を確率密度分布の形式で推定するにあたり、推定する将来状態までの距離、時間、ステップのいずれか一つ以上に計算時間が依存しないことを特徴とする将来状態推定方法。
  13. 　請求項１０から請求項１２のいずれか1項に記載の将来状態推定方法であって、
    　前記模擬対象は制御対象を含んでおり、推定した無限時間または無限ステップ先における前記模擬対象と前記模擬対象の周辺環境の状態の推定結果を用いて、前記制御対象の操作量を計算することを特徴とする将来状態推定方法。
  14. 　模擬対象の挙動を模擬するモデルを用いて将来状態を推定するにあたり、状態遷移の前後における遷移元の状態と遷移先の状態について、遷移元の状態が遷移先の状態となる確率を状態遷移確率行列として記憶し、複数の遷移について将来であるほど低減する重みを加味した前記状態遷移確率行列の和である減衰型状態遷移行列を求めることを特徴とする将来状態推定方法。
  15. 　請求項１４に記載の将来状態推定方法であって、
    　前記減衰型状態遷移行列を状態遷移確率行列の級数と等価な計算を行うことで求めることを特徴とする将来状態推定方法。
PCT/JP2019/003783 2018-03-14 2019-02-04 将来状態推定装置および将来状態推定方法 WO2019176370A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/971,806 US11573541B2 (en) 2018-03-14 2019-02-04 Future state estimation device and future state estimation method
EP19766459.2A EP3767560A4 (en) 2018-03-14 2019-02-04 FUTURE STATE ESTIMATION AND FUTURE STATE ESTIMATION PROCESS

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018046389A JP7064356B2 (ja) 2018-03-14 2018-03-14 将来状態推定装置および将来状態推定方法
JP2018-046389 2018-03-14

Publications (1)

Publication Number Publication Date
WO2019176370A1 true WO2019176370A1 (ja) 2019-09-19

Family

ID=67907659

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/003783 WO2019176370A1 (ja) 2018-03-14 2019-02-04 将来状態推定装置および将来状態推定方法

Country Status (4)

Country Link
US (1) US11573541B2 (ja)
EP (1) EP3767560A4 (ja)
JP (1) JP7064356B2 (ja)
WO (1) WO2019176370A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7263980B2 (ja) * 2019-08-27 2023-04-25 富士通株式会社 強化学習方法、強化学習プログラム、および強化学習装置
JP7203000B2 (ja) * 2019-11-12 2023-01-12 Hoya株式会社 プログラム、情報処理方法及び情報処理装置
JP6993526B1 (ja) 2021-03-25 2022-01-13 株式会社 日立産業制御ソリューションズ 状態遷移提案装置、状態遷移提案方法及び状態遷移提案プログラム
KR102585570B1 (ko) * 2021-05-12 2023-10-10 한국과학기술원 적응형 시스템의 통계적 검증 기반 예측적 적응 기법
CN114118509B (zh) * 2021-08-12 2022-08-23 生态环境部环境规划院 一种道路交通二氧化碳排放的预测方法及预测系统
JP2023074434A (ja) * 2021-11-17 2023-05-29 株式会社日立製作所 将来状態推定装置
JP7444186B2 (ja) 2022-03-22 2024-03-06 横河電機株式会社 モデル検証装置、モデル検証方法、および、モデル検証プログラム
JP2024017443A (ja) * 2022-07-28 2024-02-08 株式会社日立製作所 制御装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076036A (ja) 2007-08-24 2009-04-09 Nippon Steel Engineering Co Ltd プロセスの状態予測方法
JP2013114666A (ja) 2011-11-30 2013-06-10 Ryosuke Kuriiwa モデル予測制御のための差動計算機械
JP2016212872A (ja) 2015-05-04 2016-12-15 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム
JP2017157112A (ja) 2016-03-03 2017-09-07 三菱日立パワーシステムズ株式会社 制御パラメータ自動調整装置、制御パラメータ自動調整方法、及び制御パラメータ自動調整装置ネットワーク

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2808909B1 (fr) 2000-05-11 2005-06-03 Jean Marie Billiotte Procede de simulation stochastique centralisee et teletransmission de scenarios probables pour l'optimisation probabiliste des parametres de systemes industriels distants
US7769576B2 (en) 2005-06-30 2010-08-03 The Mathworks, Inc. Method and apparatus for integrated modeling, simulation and analysis of chemical and biological systems having a sequence of reactions, each simulated at a reaction time determined based on reaction kinetics
JP6246755B2 (ja) 2015-02-25 2017-12-13 三菱重工業株式会社 プラント運転支援システム及びプラント運転支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009076036A (ja) 2007-08-24 2009-04-09 Nippon Steel Engineering Co Ltd プロセスの状態予測方法
JP2013114666A (ja) 2011-11-30 2013-06-10 Ryosuke Kuriiwa モデル予測制御のための差動計算機械
JP2016212872A (ja) 2015-05-04 2016-12-15 ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハーＨｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ 対象物体の将来状態を計算により予測する方法の性能を向上するための方法、運転者支援システム、そのような運転者支援システムを備える車両、並びに対応するプログラムの記憶媒体及びプログラム
JP2017157112A (ja) 2016-03-03 2017-09-07 三菱日立パワーシステムズ株式会社 制御パラメータ自動調整装置、制御パラメータ自動調整方法、及び制御パラメータ自動調整装置ネットワーク

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3767560A4

Also Published As

Publication number Publication date
JP2019159876A (ja) 2019-09-19
JP7064356B2 (ja) 2022-05-10
EP3767560A4 (en) 2021-11-24
EP3767560A1 (en) 2021-01-20
US11573541B2 (en) 2023-02-07
US20200393800A1 (en) 2020-12-17

Similar Documents

Publication Publication Date Title
WO2019176370A1 (ja) 将来状態推定装置および将来状態推定方法
US11914350B2 (en) Manufacturing process control using constrained reinforcement machine learning
JP7206874B2 (ja) 制御装置、制御方法及びプログラム
JP6939162B2 (ja) プラント制御支援装置、プラント制御支援方法、プラント制御支援プログラム及び記録媒体
JP2010504590A (ja) モデル予測コントローラの解の解析プロセス
US9727035B2 (en) Computer apparatus and method using model structure information of model predictive control
JP2017138881A (ja) 操作メニューの表示を学習する機械学習器，数値制御装置，工作機械システム，製造システムおよび機械学習方法
EP3767401A1 (en) Learning device, learning method, and program therefor
JPWO2021015134A1 (ja) 材料設計システム、材料設計方法、及び材料設計プログラム
KR102577188B1 (ko) 목표 시스템에 대한 제어 시스템 생성
KR102660544B1 (ko) 제어 장치, 컨트롤러, 제어 시스템, 제어 방법, 및 제어 프로그램
US20210064983A1 (en) Machine learning for industrial processes
JP2009151383A (ja) 製造プロセスにおける操業と品質の関連解析装置、解析方法、プログラム、及びコンピュータ読み取り可能な記録媒体
CN114981825A (zh) 基于自动学习预测及控制时间序列数据的方法及装置
EP3767400A1 (en) Learning device, learning method and program therefor
JP2007004728A (ja) プロセスの操業状態の制御方法、装置、及びコンピュータプログラム
JP5582487B2 (ja) プロセスの状態予測方法
JP5125875B2 (ja) Ｐｉｄコントローラのチューニング装置、ｐｉｄコントローラのチューニング用プログラムおよびｐｉｄコントローラのチューニング方法
JP7060130B1 (ja) 運用支援装置、運用支援方法及びプログラム
WO2019142728A1 (ja) 制御装置、制御方法およびプログラム記録媒体
JPWO2016203757A1 (ja) 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム
WO2023090068A1 (ja) 将来状態推定装置
JP7441775B2 (ja) 制御装置及び制御方法
JP2022035737A (ja) 制御システム、制御方法、制御装置及びプログラム
WO2021171156A1 (en) Deep causal learning for advanced model predictive control

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19766459

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019766459

Country of ref document: EP

Effective date: 20201014