WO2020178936A1 - ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置 - Google Patents

ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置 Download PDF

Info

Publication number
WO2020178936A1
WO2020178936A1 PCT/JP2019/008339 JP2019008339W WO2020178936A1 WO 2020178936 A1 WO2020178936 A1 WO 2020178936A1 JP 2019008339 W JP2019008339 W JP 2019008339W WO 2020178936 A1 WO2020178936 A1 WO 2020178936A1
Authority
WO
WIPO (PCT)
Prior art keywords
series data
neural network
data
network model
time series
Prior art date
Application number
PCT/JP2019/008339
Other languages
English (en)
French (fr)
Inventor
安曽徳康
小川雅俊
Original Assignee
株式会社トランストロン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社トランストロン filed Critical 株式会社トランストロン
Priority to PCT/JP2019/008339 priority Critical patent/WO2020178936A1/ja
Priority to JP2021503283A priority patent/JP7264408B2/ja
Priority to EP19917869.0A priority patent/EP3937088A4/en
Publication of WO2020178936A1 publication Critical patent/WO2020178936A1/ja
Priority to US17/461,098 priority patent/US20210390412A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks

Definitions

  • the present invention relates to a method for generating a neural network model and a control device using the neural network model.
  • the control device using the neural network model is, for example, an engine control device.
  • a plant model for estimating the transient operation state of the engine and soft sensors such as a pressure gauge and a thermometer are provided in the control device, and the plant model and the soft sensor are configured by a neural network model.
  • the operating amount of various actuators such as engine speed and fuel injection amount is input, and the torque that is the control amount to be controlled is output.
  • training data having the above-mentioned operation amount and torque is used for learning, and parameters such as weight and bias in the neural network are adjusted. This learning process requires a large amount of training data.
  • the number of data is expanded several times or several tens of times by image processing such as rotation and inversion of the acquired image.
  • the operation amount of the actuator is input and the torque that is the control amount is output.
  • the operation amount and the torque required for the training data are time series data that changes with time. Therefore, it is impossible to adopt a data expansion method such as image classification by rotating or inverting an image.
  • the purpose of the first aspect of the present embodiment is to provide a neural network model generation method and a control device using the neural network model, which easily expands the time series data included in the training data of the neural network. To provide.
  • the first aspect of the present embodiment is the acquisition step of acquiring the first time series data of the first cycle shorter than the operation cycle of the neural network model, and the first time series data from the first time series data. Learning to execute the training of the neural network model using the extraction step of extracting a plurality of second time series data of the second cycle longer than the cycle and the training data having the plurality of second time series data. It is a method of generating a neural network model having steps.
  • the time series data included in the training data can be easily expanded.
  • FIG. 1 is a diagram showing an example of time series data.
  • a time series of a control amount which is an input, for example, a manipulated variable or an output, of a neural network model (hereinafter, referred to as an NN model (NN is referred to as Neural Network)) that estimates a transient operating state of an engine. It is data.
  • NN model a neural network model that estimates a transient operating state of an engine. It is data.
  • FIG. 1 three time series data data01 to data03 are shown.
  • time series data data01 to data03 have an operation amount and a control amount for each data acquisition timing on the time axis.
  • the data acquisition timing is indicated by a triangle in FIG. 1, and is a timing repeated in the operation cycle of the NN model, specifically, the calculation cycle.
  • the vertical axis indicates the manipulated variable or the controlled variable.
  • time-series data are acquired from the engine by operating the actual engine on the engine bench, for example. That is, the time-series data is acquired from the engine by operating the engine in the operation mode of the Ministry of Transport or the international test model. At the same time, the internal state and environmental state of the engine (outside air temperature, outside air pressure, etc.) may also be acquired as time-series data.
  • a huge amount of training data is required to generate a neural network model by learning.
  • acquiring time-series data such as the amount of operation and the amount of control by operating the actual engine requires a lot of man-hours, and the number of training data that can be acquired has a certain limit.
  • the NN model that performs image classification can easily expand the data used for training data by rotating or reversing the acquired images. However, in the case of time-series data, it cannot be rotated or inverted like an image.
  • FIG. 2 is a diagram showing an example of time series data expanded by adding white noise to the time series data.
  • Data can be expanded relatively easily by adding white noise to the measured values of each timing of the time series data data01 acquired from the actual engine in FIG. 1 to generate new time series data data01', data01''. be able to.
  • the expanded time-series data data01 ′ and data01 ′′ are data with the same tendency as the acquired time-series data data01, only by adding a minute noise to the measured value of the acquired time-series data data01. Therefore, when the NN model is trained by using the extended time series data data01 ′ and data01 ′′ as the training data, the NN model may be biased based on the same tendency of the plurality of training data. Further, if the magnitude of noise added to the measured value of the acquired time series data is large, the accuracy of the NN model after learning may decrease, and it is not easy to set the magnitude of noise.
  • FIG. 3 is a diagram showing a configuration of an NN model generator that generates an NN model according to the present embodiment.
  • the NN model generation device 1 is an information processing device such as a high performance computer, a server, or a personal computer.
  • the NN model generator 1 includes a CPU 10 which is a processor, a main memory 12 which the processor accesses, and a large-capacity auxiliary storage device 20.
  • the auxiliary storage device 20 includes an NN learning program 22 that causes the processor to execute the learning process of the NN model, an NN program 24 that causes the processor 10 to execute an operation or calculation of the NN model, and training data 26 that is used for training the NN model. And the acquired time-series data 28 and the like acquired from a real engine or the like are stored.
  • the processor 10 uses the training data 26 to execute the NN training program 22 and the NN program 24 to execute training of the NN model, adjust parameters such as weights and biases in the NN model, and generate the NN model. Generate. Further, the processor 10 executes the NN learning program 22, expands the acquired time-series data 28, and increases the number of time-series data of the training data used for learning the NN model.
  • FIG. 4 is a diagram showing a flow chart of the NN model learning method in the present embodiment.
  • the processor 10 executes the NN learning program 22 and acquires time series data from the acquired time series data 28 stored in the auxiliary storage device 20 (S1). Then, the processor 10 generates a plurality of time series data from the acquired time series data by data expansion described later (S2).
  • the processor stores the training data having the time series data generated by the data expansion in the auxiliary storage device 20, and increases the number of training data. This completes the preparation of the training data used for learning the NN model to be executed thereafter.
  • the processor 10 executes initial adjustment of the NN model (S3).
  • the processor performs initial adjustment of hyperparameters such as the number of neurons in each layer and the learning function in the NN model.
  • the processor executes the NN learning program 22 and the NN program 24 by using the predetermined number of training data, and executes the learning of the NN model (S4).
  • FIG. 5 is a diagram showing a virtual configuration example of the NN model.
  • This NN model has a single-layer or multiple-layer hidden layer 34 between an input layer 30 and an output layer 32. Further, it has a past hidden layer 36 having a kind of memory function for temporarily storing the value in the hidden layer 34.
  • a recurrent neural network recursive neural network having a past hidden layer 36 having such a memory function is desirable.
  • the learning process of the NN model is as follows. First, the operation amount (for example, engine speed, fuel injection amount, EGR opening degree (EGR: exhaust gas recirculation EGR valve opening degree), turbine opening degree), engine internal state data, and environmental data are input to the input layer 30. Etc. are entered.
  • the manipulated variable is time series data of the operation cycle (calculation cycle or calculation cycle) of the NN model.
  • the processor executes the calculation of each layer of the NN model in the forward direction from the input data of the input layer 30, and outputs the control amount, for example, torque, as output data to the output layer 32 in chronological order.
  • the processor calculates an error based on the difference between the control amount output to the output layer 32 and the control amount corresponding to the input operation amount of the training data.
  • the processor backpropagates the calculated error in the opposite direction of the NN (towards the input layer) and calculates the error for each layer.
  • the processor adjusts parameters such as weight and bias of each layer so as to reduce the error calculated in each layer.
  • the processor executes the above-mentioned forward calculation, backward calculation, and parameter adjustment for all training data. This completes mini-batch learning. Generally, the processor repeats multiple mini-batch learnings.
  • the processor executes, for example, mini-batch learning multiple times (S4), and then evaluates the NN model (S5).
  • the processor evaluates the NN model after training by using, for example, evaluation data different from the training data having input data and output data as well as the training data. Specifically, the processor inputs the input data of the evaluation data to the NN model, compares the output data calculated by the input data with the correct answer data (output data) of the evaluation data, and the error is less than a predetermined reference value. Judge whether or not.
  • the processor If the evaluation result of the NN model is not good (NO in S5), the processor returns to the initial adjustment S3 of NN, or if data expansion is required (YES in S6), it returns to the data expansion S2 and the NN model again. Repeat learning S4 and evaluation S5. If the evaluation result of the NN model is good (YES in S5), the processor ends the learning of the NN model.
  • FIG. 6 is a diagram showing the configuration of the learned NN model.
  • the trained NN model is a model generated by learning the above-mentioned NN model. As mentioned above, training using the training data of the NN model generates adjusted internal parameters, weights, biases, and so on. The adjusted internal parameters are included in the NN program 24 that executes the operation of the NN model.
  • the NN model 40 generated by learning includes a processor 42, a memory 44 accessed by the processor, an input / output unit 46 that inputs input data and outputs NN model output data at the time of inference (production). It has a bus 48 and an auxiliary storage device for storing the NN program 24.
  • FIG. 7 is a diagram showing a configuration of an engine control device using the generated NN model.
  • the engine control device 50 includes an engine estimation unit 51 based on the NN model and a target control amount setting unit 54 that sets a target control amount torque S54 based on an operation of an access pedal or the like by a driver. Further, the engine control device 50 is based on the control unit 52 that calculates the difference S52 between the estimated torque S51 of the estimated control amount output by the engine estimation unit 51 and the target torque S54 of the target control amount, and the torque difference S52.
  • An actuator operation amount generation unit 53 that determines or generates the operation amount of the actuator therein.
  • the actuator operation amount generation unit 53 calculates which operation amount should be changed and how in order to eliminate the torque difference S52, and sends the operation signal S53 corresponding to the changed operation amount to the actual engine system 55. Output. Along with this, the actual engine system 55 outputs a torque that is a control amount.
  • the engine estimation unit 51 is the learned NN model 40. Time-series data of the amount of operation output to the actual engine system is input to the NN model 40, and internal state data and environmental data (temperature, pressure, etc.) of the actual engine are input to the NN model 40. Is also good.
  • Torque which is the controlled variable generated by the actual engine system, is difficult to detect with a sensor. Therefore, in the engine control device, the NN model 40 is used for the engine estimation unit 51, and the actual engine system outputs the control amount (torque) calculated by the NN model 40 given the same operation amount as the actual engine system. Estimated as the amount of control (torque) to be performed.
  • FIG. 8 is a diagram showing an example of time series data of the manipulated variable.
  • the operation amount for example, the engine speed, the fuel injection amount, the EGR opening, and the injection timing are chirp signals whose frequency components change with time as shown in FIG. For example, the number of revolutions increases and decreases like a sine wave, and the frequency of the sine wave changes with time. The same applies to other manipulated variables.
  • FIG. 9 is a diagram showing a flowchart of the data extension S2 shown in the learning flowchart of FIG.
  • Data expansion has a plurality of data expansion processes. For example, (1) processes S11 and S12 that acquire time-series data with a period shorter than the operation cycle of the NN model by performing interpolation processing on the time-series data acquired from an actual engine, and (2) time-series with a short period. Processing S13, S14 to increase time series data by extracting multiple time series data with a predetermined period in different phases from the data, and (3) time series in which the measurement points of the time series data are randomly shifted on the time axis. These include processes S15 and S16 for extracting data and increasing time-series data, and (4) processes S17 and S18 for adding white noise to the value of time-series data to generate another time-series data.
  • FIG. 10 is a diagram showing time series data having a shorter cycle than the operation cycle of the NN model and short cycle time series data generated by the interpolation process.
  • the timing of the time series data is shown by triangles, and the values of the time series data are not shown.
  • the acquired time-series data data01_a is time-series data with a shorter cycle than the operating cycle T, including data with the operating cycle T of the NN model and data with a shorter cycle. If the time series data data01_a can be obtained from a real engine, etc., interpolation processing is not required (NO in S11).
  • the acquired time series data data00 is data of the operation cycle T of the NN model.
  • interpolation processing is required (YES in S11), and the processor performs interpolation data in the time axis direction between the acquired time-series data data00 period T data (black triangle timing data in the figure).
  • the timing data of the middle white triangle is generated, and the interpolation data is added to generate the time series data data01_b after the interpolation.
  • the time-series data data01_b after interpolation has data of a cycle shorter than the operation cycle T of the NN model.
  • FIG. 11 is a diagram showing extended time series data extracted from short cycle time series data in different phases.
  • the processor extracts data of different phases and expands the data (YES in S13), from the time series data data01 having a shorter cycle than the operation cycle T of the NN model, a plurality of times with different phases and a predetermined cycle.
  • the series data data01_1 to data01_5 are extracted to generate a plurality of extended time series data (S14).
  • the short-cycle time-series data data01 is the same as the time-series data data01_a and data01_b in FIG. ) And.
  • the expanded time-series data data01_1 to data01_5 are time-series data obtained by extracting data of a predetermined period from the short-period time-series data data01 by shifting the phase.
  • the extended time series data has the same cycle as the operation cycle T of the NN model.
  • the predetermined cycle of the extended time series data does not necessarily have to be the same as the operation cycle T, but is at least longer than the cycle of the short cycle time series data data01.
  • FIG. 12 is a diagram showing a specific example of extended time series data extracted in different phases.
  • FIG. 12 shows extended time series data data01_1, data01_2, data01_3 having the same cycle as the operation cycle T of the NN model by shifting the phase from the data at each timing of the short cycle time series data data01.
  • the short cycle time series data data01 is sine wave time series data.
  • the expanded time series data data01_1 is the extracted data of the timing of the square
  • the time series data data01_2 is the data of the timing of the triangle
  • the time series data data01_3 is the data of the timing of the circle. Is extracted.
  • time series data data01 is a sine wave
  • these extended time series data data01_1 to data01_3 are time series data of the same cycle as the operation cycle T of the NN model, but the values of each data are different.
  • the expanded time series data has a plurality of different tendencies, so that the trained NN model using them as training data has less bias and becomes a highly generalized model.
  • FIG. 13 is a diagram showing an example in which noise has occurred in time series data acquired from a real engine or the like.
  • the time-series data data01_c is an example in which diamond-shaped noise occurs at the timing of a quadrangle.
  • This noise is, for example, generated suddenly or periodically due to the measurement environment when time-series data is acquired from a real engine or the like under a real environment.
  • Even if noise is included suddenly or periodically like the acquired time series data data01_c the data of a predetermined period is extracted from the time series data data01_c in a different phase to generate extended time series data.
  • extended time series data data01_2, data01_3 in FIG. 12
  • the time-series data data01_1n shown in FIG. 13 includes data due to noise, but time-series data at a timing deviated from the noise timing (data01_2 in FIG. 12).
  • Data01_3 does not include data due to noise. Therefore, when the time series data acquired in the real environment contains sudden or periodic noise data, the NN model should be overfitted by training with the time series data data01_1n having such noise data. Can be suppressed.
  • FIG. 14 is a diagram showing extraction of time-series data in which timings of measurement points are randomly shifted from the time-series data.
  • the processor When the processor generates time-series data with the timing of the measurement points shifted (S15), the early timing on the time axis is randomly selected from the timing of the predetermined cycle T of the short-cycle time-series data data01 (black triangle in the figure).
  • the data data_sft shifted at a later timing is extracted, and the expanded time series data data01_1s is acquired (S16).
  • the trained NN model By training the time-series data data01_1s including the data data_sft whose extraction timing is deviated as training data, the trained NN model allows time-series data having a measurement timing deviation that can occur in the actual environment. It becomes a highly generalizable model. Therefore, in addition to data expansion, it is possible to generate training data that enhances generalization.
  • the processor when the processor generates time-series data with white noise added by data expansion (YES in S17), the processor adds white noise to the value of the time-series data to generate another time-series data. (S18). Finally, the processor stores the plurality of extracted time series data in the memory (S19).
  • FIG. 15 is a diagram showing an example of time series data acquired in a real environment and expanded time series data extracted from the time series data.
  • the operation cycle of the NN model is 0.8 seconds
  • the time series data data01 of the manipulated variable and the controlled variable are acquired at intervals of 0.08 seconds which is shorter than that.
  • the cycle is 0.8 seconds, which is the same as the operation cycle of the NN model.
  • Series data data01_1 to data01_3 were extracted and included in the training data.
  • the time-series data extracted at the extraction start time of 0.08 seconds and the cycle of 0.8 was used as the training data.
  • the time-series data of the training data was obtained by operating a 3L in-line 4-cylinder diesel engine on an engine bench.
  • FIG. 16 is a diagram showing the configuration of the NN models of the example and the comparative example.
  • This NN model has an input layer 30, hidden layers 34_a and 34_b, and an output layer 32, and four control amounts, a rotation speed, a fuel injection amount, an EGR opening degree, and a turbine opening degree are input to the input layer.
  • a control amount for example, intake manifold pressure, is output to the output layer.
  • the number of neurons in the hidden layer is 10, and the activation function of the hidden layer and the linear function are as illustrated.
  • FIG. 17 is a diagram illustrating an example of cross-validation between the example and the comparative example.
  • cross validation is performed using the data obtained by operating the engine in the operation mode of WHTC (World Harmonized Vehicle Cycle), and the goodness of fit, RMSE ( Root Mea Square Error) and R 2 . From the respective evaluation values shown in FIG. 17, it can be understood that the example is superior to the comparative example in all of the compatible value, RMSE, and R 2 .
  • the figure of the correct answer value and the estimated value shown in FIG. 17 shows the output (estimated value) calculated by inputting the input value of the data acquired from the engine operated in the operation mode of WHTC into the NN model and the acquired data.
  • the output (correct value) is plotted.
  • the teacher data is expanded with time-series data obtained by extracting data in which the timing is randomly shifted forward and backward on the time axis. Therefore, it is possible to easily generate time-series data of various tendencies from the acquired time-series data and generate more training data. Therefore, by training the NN model using such training data, it is possible to generate an NN model with high generalization and not overtrained.
  • Neural network model generator 22 NN learning program 24: NN program 26: Teacher data 28: Time series data data01: Short-cycle time series data data01_1-data01_3: Extended time series data

Landscapes

  • Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computing Systems (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Automation & Control Theory (AREA)
  • Combined Controls Of Internal Combustion Engines (AREA)
  • Feedback Control In General (AREA)

Abstract

時系列のデータのデータ拡張を簡単に行う。　ニューラルネットワークモデルの動作周期より短い第１の周期の第１の時系列データを取得する取得工程と、第１の時系列データから、第１の周期より長い第２の周期の第２の時系列データを複数抽出する抽出工程と、複数の第２の時系列データを有する訓練データを使用して、ニューラルネットワークモデルの学習を実行する学習工程を有する、ニューラルネットワークモデルの生成方法。

Description

ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置
　本発明は，ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置に関する。
　ニューラルネットワークモデルを用いた制御装置は、例えば、エンジン制御装置などである。かかる制御装置内には、エンジンの過渡運転状態を推定するプラントモデルや圧力計や温度計などのソフトセンサが設けられ、それらプラントモデルやソフトセンサは、ニューラルネットワークモデルにより構成される。
　例えばエンジンの過渡運転状態を推定するニューラルネットワークモデルは、エンジン回転数や燃料噴射量など各種アクチュエータの操作量を入力とし、制御したい制御量であるトルクを出力とする。ニューラルネットワークモデルでは、例えば、前述の操作量とトルクを有する訓練データを使用して学習を行い、ニューラルネットワーク内の重みやバイアスなどのパラメータが調整される。この学習プロセスでは、大量の訓練データが必要である。
　一般に画像分類などを行うニューラルネットワークでは、学習に必要な訓練データを収集する場合、取得した画像を回転や反転などの画像処理により数倍もしくは数十倍にデータ数を拡張することが行われる。
特開平６－２７４２０７号公報 特開２０１８－１４２１６０号公報
　しかしながら、エンジンの過渡運転状態を推定するニューラルネットワークモデルの場合、前述したとおり、アクチュエータの操作量を入力とし、制御量であるトルクを出力とする。そして、訓練データに必要な操作量とトルクは、時刻と共に変化する時系列データである。そのため、画像分類のような画像の回転や反転によるデータ拡張の手法を取ることができない。
　そこで，本実施の形態の第1の側面の目的は，ニューラルネットワークの訓練データに含まれる時系列データを簡便にデータ拡張する、ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置を提供することにある。
　本実施の形態の第１の側面は，ニューラルネットワークモデルの動作周期より短い第１の周期の第１の時系列データを取得する取得工程と、前記第１の時系列データから、前記第１の周期より長い第２の周期の第２の時系列データを複数抽出する抽出工程と、前記複数の第２の時系列データを有する訓練データを使用して、前記ニューラルネットワークモデルの学習を実行する学習工程を有する、ニューラルネットワークモデルの生成方法である。
　第１の側面によれば，訓練データに含まれる時系列データを簡便にデータ拡張することができる。
時系列データの例を示す図である。 時系列データにホワイトノイズを追加して拡張した時系列データの例を示す図である。 本実施の形態におけるNNモデルの生成を行うNNモデル生成装置の構成を示す図である。 本実施の形態におけるNNモデルの学習方法のフローチャートを示す図である。 NNモデルの仮想的な構成例を示す図である。 学習済みのNNモデルの構成を示す図である。 生成されたNNモデルを用いたエンジン制御装置の構成を示す図である。 操作量の時系列データの一例を示す図である。 図４の学習のフローチャートに示したデータ拡張S2のフローチャートを示す図である。 NNモデルの動作周期より短周期の時系列データと、補間処理により生成した短周期の時系列データとを示す図である。 短周期の時系列データから異なる位相で抽出した拡張された時系列データを示す図である。 異なる位相で抽出した拡張された時系列データの具体例を示す図である。 実エンジンなどから取得した時系列データにノイズが発生した例を示す図である。 時系列データから計測点のタイミングを無作為にずらした時系列データの抽出を示す図である。 実環境で取得した時系列データとそれから抽出した拡張後の時系列データの例を示す図である。 実施例及び比較例のNNモデルの構成を示す図である。 実施例と比較例の交差検証の結果の例を示す図である。
　［時系列データの例］
　図１は、時系列データの例を示す図である。この例は、エンジンの過渡運転状態を推定するニューラルネットワークモデル（以下NNモデル（NNはNeural Network）と称する。）の入力である、例えば操作量、または、出力である、制御量、の時系列データである。図１には、３つの時系列データdata01～data03が示される。
　これら時系列データdata01～data03は、時間軸上のデータ取得タイミング毎の操作量や制御量を有する。データ取得タイミングは、図1中、三角形で示され、NNモデルの動作周期、具体的には計算周期、で繰り返されるタイミングである。また、縦軸は、操作量または制御量を示す。
　これら時系列データは、例えば、実エンジンをエンジンベンチ上で運転させ、エンジンから取得される。すなわち、時系列データは、運輸省や国際試験モデルの運転モードでエンジンを運転し、エンジンから取得される。また、同時に、エンジンの内部状態や環境状態（外気温や外気圧など）も、時系列データとして取得されてもよい。
　ニューラルネットワークモデルを学習により生成するためには、膨大な量の訓練データが必要である。一方、上記のように、実エンジンを運転させて操作量や制御量などの時系列データを取得することは、多くの工数を必要とし、取得可能な訓練データの数は一定の限界がある。
　画像分類を行うNNモデルは、訓練データに使用する画像を、取得済み画像を回転させたり反転させたりすることで、容易にデータ拡張することができる。しかし、時系列データの場合、画像のように回転や反転を行うことはできない。
　図２は、時系列データにホワイトノイズを追加して拡張した時系列データの例を示す図である。図１の実エンジンから取得した時系列データdata01の各タイミングの計測値に、ホワイトノイズを加えて、新たな時系列データdata01’, data01’’を生成することで、比較的容易にデータ拡張することができる。
　しかし、拡張した時系列データdata01’, data01’’は、取得した時系列データdata01の計測値に微小なノイズを加えただけであり、取得済み時系列データdata01と同じ傾向のデータである。そのため、拡張した時系列データdata01’, data01’’を訓練データに使用してNNモデルを学習させると、複数の訓練データがもつ同じ傾向に基づいて、NNモデルに偏りが生じることがある。また、取得済み時系列データの計測値に加えるノイズの大きさが大きいと、学習後のNNモデルの精度が低下する恐れがあり、ノイズの大きさの設定は容易ではない。
　［本実施の形態］
　図３は、本実施の形態におけるNNモデルの生成を行うNNモデル生成装置の構成を示す図である。NNモデル生成装置１は、高性能コンピュータ、サーバ、パーソナルコンピュータなどの情報処理装置である。NNモデル生成装置１は、プロセッサであるCPU１０、プロセッサがアクセスするメインメモリ１２と、大容量の補助記憶装置２０を有する。補助記憶装置２０は、例えば、ハードディスクドライブはソリッドステートドライブである。
　補助記憶装置２０は、NNモデルの学習処理をプロセッサに実行させるNN学習プログラム２２と、NNモデルの演算または計算をプロセッサ１０に実行させるNNプログラム２４と、NNモデルの学習に使用される訓練データ２６と、実エンジンなどから取得した取得済み時系列データ２８などを格納する。
　プロセッサ１０は、訓練データ２６を使用し、NN学習プログラム２２と、NNプログラム２４を実行して、NNモデルの学習を実行し、NNモデル内の重みやバイアスなどのパラメータを調整し、NNモデルを生成する。また、プロセッサ１０は、NN学習プログラム２２を実行し、取得済み時系列データ２８のデータ拡張を行い、NNモデルの学習に使用する訓練データの時系列データの数を増やす。
　図４は、本実施の形態におけるNNモデルの学習方法のフローチャートを示す図である。プロセッサ１０は、NN学習プログラム２２を実行し、補助記憶装置２０に格納されている取得済み時系列データ２８から時系列データを取得する（S1）。そして、プロセッサ１０は、取得済み時系列データから後述するデータ拡張により複数の時系列データを生成する（S2）。プロセッサは、データ拡張により生成した時系列データを有する訓練データを、補助記憶装置２０に格納し、訓練データの数を増大させる。これにより、以後実行するNNモデルの学習に使用する訓練データの準備が完了する。
　次に、プロセッサ１０は、NNモデルの初期調整を実行する（S3）。この初期調整では、例えば、プロセッサは、NNモデル内の各層のニューロン数や学習関数などのハイパーパラメータの初期調整を行う。
　そして、プロセッサは、所定数の訓練データを使用して、NN学習プログラム２２とNNプログラム２４を実行し、NNモデルの学習を実行する（S4）。
　図５は、NNモデルの仮想的な構成例を示す図である。このNNモデルは、入力層３０と、出力層３２との間に、単層または複数層の隠れ層３４を有する。さらに、隠れ層３４内の値を一時的に蓄積する一種のメモリ機能を有する過去の隠れ層３６を有する。エンジンのNNモデルのように、時系列データを入力するNNモデルは、このようなメモリ機能を有する過去の隠れ層３６を有するリカレントニューロンネットワーク（再帰型ニューロンネットワーク）が望ましい。
　エンジンのNNモデルを例にして説明すると、NNモデルの学習処理は、次の通りである。まず、入力層３０に、操作量（例えば、エンジン回転数、燃料噴射量、EGR開度（EGR：exhaust gas recirculationのEGRバルブ開度）、タービン開度）と、エンジンの内部状態データ、環境データなどが入力される。操作量は、NNモデルの動作周期（演算周期または計算周期）の時系列データである。
　プロセッサは、入力層３０の入力データをNNモデルの各層の演算を順方向に実行し、出力層３２に出力データとして制御量、例えばトルク、を時系列に出力する。次に、プロセッサは、出力層３２に出力した制御量と、訓練データの入力の操作量に対応する制御量との差分に基づいて、誤差を算出する。更に、プロセッサは、算出した誤差をNNの逆方向に（入力層に向かって）逆伝搬し、各層の誤差を算出する。そして、プロセッサは、各層で算出された誤差を小さくするよう、各層の重みやバイアスなどのパラメータを調整する。
　プロセッサは、上記の順方向演算と、逆方向演算と、パラメータの調整を、全訓練データについて実行する。これで、ミニバッチ学習を終了する。一般に、プロセッサは、複数のミニバッチ学習を繰り返す。
　図４に戻り、プロセッサは、例えば、複数回のミニバッチ学習を実行した後（S4）、NNモデルの評価を実行する（S5）。NNモデルの評価では、プロセッサは、例えば、訓練データと同様に入力データと出力データを有する訓練データとは別の評価データを使用して、学習後のNNモデルの評価を実行する。具体的には、プロセッサは、評価データの入力データをNNモデルに入力し、それにより演算された出力データと、評価データの正解データ（出力データ）とを比較し、誤差が所定の基準値未満か否かを判定する。
　プロセッサは、NNモデルの評価結果が良くない場合（S5のNO）、NNの初期調整S3に戻り、もしくは、データ拡張が必要な場合は（S6のYES）、データ拡張S2に戻り、再度NNモデルの学習S4と評価S5を繰り返す。プロセッサは、NNモデルの評価結果が良ければ（S5のYES）、NNモデルの学習を終了する。
　図６は、学習済みのNNモデルの構成を示す図である。学習済みのNNモデルは、前述のNNモデルの学習によって生成されたモデルである。前述の通り、NNモデルの訓練データを使用した学習により、調整された内部パラメータ、重みやバイアス等、が生成される。調整された内部パラメータは、NNモデルの演算を実行するNNプログラム２４に含まれる。
　学習により生成されたNNモデル４０は、プロセッサ４２と、プロセッサがアクセスするメモリ４４と、推論時（本番時）に、入力データを入力し、NNモデルの出力データを出力する入出力部４６と、バス４８と、NNプログラム２４を格納する補助記憶装置とを有する。
　図７は、生成されたNNモデルを用いたエンジン制御装置の構成を示す図である。エンジン制御装置５０は、NNモデルによるエンジン推定部５１と、運転手によるアクセスペダルなどの操作に基づいて目標制御量であるトルクS54を設定する目標制御量設定部５４とを有する。さらに、エンジン制御装置５０は、エンジン推定部５１が出力する推定制御量の推定トルクS51と目標制御量の目標トルクS54の差分S52を算出する制御部５２と、トルクの差分S52に基づいて、エンジン内のアクチュエータの操作量を決定または生成するアクチュエータ操作量生成部５３を有する。アクチュエータ操作量生成部５３は、トルクの差分S52をなくすためには、どの操作量をどのように変動させるべきかを算出し、変動後の操作量に対応する操作信号S53を実エンジンシステム５５に出力する。これに伴い、実エンジンシステム５５は、制御量であるトルクを出力する。
　エンジン推定部５１は、学習済みのNNモデル４０である。NNモデル４０には、実エンジンシステムに出力される操作量の時系列データが入力され、更に、NNモデル４０には、実エンジンの内部状態データや環境データ（温度や圧力等）が入力されても良い。
　実エンジンシステムが生成する制御量であるトルクは、センサにより検出することが困難である。そこで、エンジン制御装置では、NNモデル４０をエンジン推定部５１に使用し、実エンジンシステムと同じように操作量を与えられたNNモデル４０が算出する制御量（トルク）を、実エンジンシステムが出力する制御量（トルク）と推定する。
　［データ拡張方法］
　図８は、操作量の時系列データの一例を示す図である。操作量、例えばエンジン回転数、燃料噴射量、EGR開度、噴射時期は、図８に示すような時間と共に周波数成分が変化するチャープ信号である。例えば、回転数は、正弦波のように増減し、且つその正弦波の周波数が時間と共に変化する。他の操作量も同様である。
　図９は、図４の学習のフローチャートに示したデータ拡張S2のフローチャートを示す図である。データ拡張は、複数のデータ拡張処理を有する。例えば、（１）実エンジンなどから取得した時系列データに補間処理を行うことでNNモデルの動作周期より短い周期の時系列データを取得する処理S11,S12と、（２）短周期の時系列データから、異なる位相で所定周期の複数の時系列データを抽出して時系列データを増やす処理S13,S14と、（３）時系列データの計測点を無作為に時間軸上でずらした時系列データを抽出して時系列データを増やす処理S15,S16と、（４）時系列データの値にホワイトノイズを加算して別の時系列データを生成する処理S17,S18などである。
　上記の（１）の処理S11,S12では、実エンジンなどから取得した時系列データの周期が、NNモデルの動作周期と同等の場合（S11）、補間で求めたデータを追加して、NNモデルの動作周期より短周期の時系列データを取得する（S12）。
　図１０は、NNモデルの動作周期より短周期の時系列データと、補間処理により生成した短周期の時系列データとを示す図である。図１０には、時系列データのタイミングを三角形で示し、時系列データの値は示していない。
　取得した時系列データdata01_aは、NNモデルの動作周期Tのデータとそれより短周期のデータを含む、動作周期Tより短周期の時系列データである。実エンジンなどから時系列データdata01_aを取得できる場合は、補間処理は不要である（S11のNO）。
　一方、取得した時系列データdata00は、NNモデルの動作周期Tのデータである。この場合は、補間処理が必要であり（S11のYES）、プロセッサは、取得した時系列データdata00の周期Tのデータ（図中黒三角形のタイミングのデータ）間の時間軸方向の補間データ（図中白三角形のタイミングのデータ）を生成し、補間データを加えて、補間後の時系列データdata01_bを生成する。補間後の時系列データdata01_bは、NNモデルの動作周期Tよりも短周期のデータを有する。
　図１１は、短周期の時系列データから異なる位相で抽出した拡張された時系列データを示す図である。次に、プロセッサは、異なる位相のデータを抽出してデータ拡張する場合（S13のYES）、NNモデルの動作周期Tより短周期の時系列データdata01から、異なる位相で所定の周期の複数の時系列データdata01_1～data01_5を抽出して、拡張した複数の時系列データを生成する（S14）。
　短周期の時系列データdata01は、図１０の時系列データdata01_a, data01_bと同じであり、NNモデルの動作周期Tのタイミングのデータ（黒三角形）と、そのデータ間の短周期のデータ（白三角形）とを有する。一方、拡張した時系列データdata01_1～data01_5は、短周期の時系列データdata01から、位相をずらして所定周期のデータを抽出した時系列データである。図１１の例では、拡張された時系列データは、NNモデルの動作周期Tと同じ周期のデータである。本実施の形態では、拡張された時系列データの所定周期は、必ずしも動作周期Tと同じである必要はないが、少なくとも短周期の時系列データdata01の周期より長い。
　図１２は、異なる位相で抽出した拡張された時系列データの具体例を示す図である。図１２には、短周期の時系列データdata01の各タイミングのデータから、それぞれ位相をずらしてNNモデルの動作周期Tと同じ周期の拡張された時系列データdata01_1, data01_2, data01_3が示される。短周期の時系列データdata01は、正弦波の時系列データである。
　拡張された時系列データdata01_1は、四角形のタイミングのデータを抽出したものであり、時系列データdata01_2は、三角形のタイミングのデータを抽出したものであり、時系列データdata01_3は、丸のタイミングのデータを抽出したものである。
　時系列データdata01が正弦波であるので、これら拡張された時系列データdata01_1～data01_3は、NNモデルの動作周期Tと同じ周期の時系列データであるが、それぞれのデータの値が異なる。それにより、拡張された時系列データはそれぞれ異なる複数の傾向を有するので、それらを訓練データに使用した学習済みNNモデルは、偏りが抑制され、汎化性の高いモデルになる。
　図１３は、実エンジンなどから取得した時系列データにノイズが発生した例を示す図である。図中、時系列データdata01_cは、四角形のタイミングで菱形のノイズが発生した例である。このノイズは、例えば、実環境下で実エンジンなどから時系列データを取得したときに、計測環境に由来する突発的または周期的に発生したものである。取得した時系列データdata01_cのように、突発的または周期的にノイズが含まれていたとしても、時系列データdata01_cから異なる位相で所定周期のデータを抽出して拡張された時系列データを生成することで、ノイズが含まれない拡張された時系列データ（図１２のdata01_2, data01_3）を得ることができる。
　したがって、拡張された時系列データのうち、図１３に示された時系列データdata01_1nには、ノイズに起因するデータが含まれるが、ノイズのタイミングとずれたタイミングの時系列データ（図１２のdata01_2, data01_3）にはノイズに起因するデータは含まれない。したがって、実環境下で取得した時系列データに突発的または周期的ノイズのデータが含まれている場合に、NNモデルがそのようなノイズのデータを有する時系列データdata01_1nによる学習で過学習することを抑制できる。
　図１４は、時系列データから計測点のタイミングを無作為にずらした時系列データの抽出を示す図である。プロセッサは、計測点のタイミングをずらした時系列データを生成する場合（S15）、短周期の時系列データdata01の所定周期Tのタイミング（図中黒三角形）から無作為に時間軸上の早いタイミングまたは遅いタイミングにずらしたデータdata_sftを抽出し、拡張された時系列データdata01_1sを取得する（S16）。
　このような抽出のタイミングがずれたデータdata_sftを含む時系列データdata01_1sを訓練データとして学習させることで、学習後のNNモデルは、実環境で起こりうる計測タイミングのずれを有する時系列データを許容する汎化性の高いモデルになる。よって、データ拡張に加えて、汎化性を高める訓練データの生成が可能になる。
　図９に戻り、プロセッサは、データ拡張で、ホワイトノイズを加えた時系列データを生成する場合（S17のYES）、時系列データの値にホワイトノイズを加算して別の時系列データを生成する（S18）。最後に、プロセッサは、抽出した複数の時系列データをメモリに格納する（S19）。
　［実施例］
　本発明者らが行った実験では、NNモデルの訓練データとして、運輸省の通常の運転パターンと過渡運転データを用いた。過渡運転データは、各操作量について上下限を設定したチャープ信号に基づいて、連続的に運転条件を変化させて、過渡運転データを取得した。チャープ信号の一例は図８で示した。
　図１５は、実環境で取得した時系列データとそれから抽出した拡張後の時系列データの例を示す図である。実施例では、NNモデルの動作周期が０．８秒に対し、それより短周期の０．０８秒間隔で操作量や制御量の時系列データdata01を取得した。そして、取得した時系列データから、抽出開始時刻をそれぞれ０．０８秒、０．３２秒、０．６４秒ずらした位相で且つNNモデルの動作周期と同じ周期０．８秒の３種類の時系列データdata01_1～data01_3を抽出し、訓練データに含めた。
　一方、比較例では、抽出開始時刻が０．０８秒で周期０．８で抽出した時系列データを訓練データとした。また、訓練データの時系列データは、３L直列４気筒ディーゼルエンジンをエンジンベンチ上で運転させて取得した。
　図１６は、実施例及び比較例のNNモデルの構成を示す図である。このNNモデルは、入力層３０と、隠れ層３４＿ａ、３４＿ｂと、出力層３２を有し、入力層には４つの制御量、回転数、燃料噴射量、EGR開度、タービン開度を入力し、出力層には制御量、例えばインテークマニホールド圧力、が出力される。隠れ層のニューロン数は１０個，隠れ層の活性化関数と、線形関数は図示されるとおりである。
　図１７は、実施例と比較例の交差検証の例を示す図である。実施例と比較例の学習済みのNNモデルについて、WHTC（World Harmonized Vehicle Cycle　世界統一試験サイクル）の運転モードでエンジンを運転して取得したデータを用いて、交差検証を行い、適合度、RMSE（Root Mea Square Error平均二乗誤差）、及びR2を求めた。図１７に記載されたそれぞれの評価の値から、適合値、RMSE、R2のいずれも実施例のほうが比較例より優れていることが理解できる。
　図１７に示した正解値と推定値の図は、WHTCの運転モードで運転したエンジンから取得したデータの入力値をNNモデルに入力して演算された出力（推定値）と、取得したデータの出力（正解値）とをプロットしたものである。横軸をｘ，縦軸をｙとした場合、実施例は、比較例よりも、ｙ＝ｘの軸上により多くのデータがプロットされているので、実施例の優位性が証明された。
　以上のとおり、本実施の形態によれば、NNモデルの動作周期より短い周期の時系列データを取得し、その時系列データから、位相が異なる所定周期のデータを抽出した複数の時系列データや、タイミングをランダムに時間軸上の前後にずらしたデータを抽出した時系列データで、教師データを拡張する。そのため、取得した時系列データから様々な傾向の時系列データを簡単に生成し、より多くの訓練データを生成することができる。それにより、そのような訓練データを使用してNNモデルを学習させることで、汎化性の高い、また過学習されてないNNモデルを生成することができる。
１：ニューラルネットワークモデル生成装置
２２：NN学習プログラム
２４：NNプログラム
２６：教師データ
２８：時系列データ
data01：短周期の時系列データ
data01_1～data01_3：拡張された時系列データ

Claims (10)

  1. 　ニューラルネットワークモデルの動作周期より短い第１の周期の第１の時系列データを取得する取得工程と、
    　前記第１の時系列データから、前記第１の周期より長い第２の周期の第２の時系列データを複数抽出する抽出工程と、
    　前記複数の第２の時系列データを有する訓練データを使用して、前記ニューラルネットワークモデルの学習を実行する学習工程を有する、ニューラルネットワークモデルの生成方法。
  2. 　前記抽出工程は、
    　前記第１の時系列データから位相が異なる複数の第２の時系列データを抽出する、請求項１に記載のニューラルネットワークモデルの生成方法。
  3. 　前記抽出工程は、
    　前記第１の時系列データから、前記第２の周期に対応する時刻を前または後ろにずらした時刻のデータを抽出し、前記第２の周期が一部で短いまたは長い前記第２の時系列データを抽出する、請求項１に記載のニューラルネットワークモデルの生成方法。
  4. 　前記取得工程は、
    　前記ニューラルネットワークモデルの動作周期の第３の時系列データを取得し、
    　前記第３の時系列データの時間軸上の隣接するデータ間を補間して前記隣接するデータ間に複数の時系列データを追加して、前記第１の時系列データを生成することを有する、請求項１に記載のニューラルネットワークモデルの生成方法。
  5. 　更に、
    　前記学習工程後に、学習後の前記ニューラルネットワークモデルを評価する評価工程と、
    　前記評価工程の評価が基準レベルに達していない場合、前記抽出工程を実行して、前記第２の時系列データの数を増やす工程を有し、
    　前記学習工程は、前記増やした第２の時系列データを有する訓練データを使用して、前記ニューラルネットワークモデルの学習を実行する、請求項１に記載のニューラルネットワークモデルの生成方法。
  6. 　前記第１の時系列データは、前記ニューラルネットワークモデルの入力または出力の時系列データである、請求項１に記載のニューラルネットワークモデルの生成方法。
  7. 　前記入力の時系列データは、周波数が変化するチャープ信号である、請求項６に記載のニューラルネットワークモデルの生成方法。
  8. 　前記ニューラルネットワークモデルは、リカレントニューラルネットワークである、請求項１に記載のニューラルネットワークモデルの生成方法。
  9. 　請求項１に記載のニューラルネットワークモデルの生成方法により生成されたニューラルネットワークモデルを有する、ニューラルネットワークモデルを用いた制御装置。
  10. 　前記ニューラルネットワークモデルは、エンジンの状態を推定するモデルであり、
    　更に、
    　前記ニューラルネットワークモデルの出力に基づいて、前記エンジンへの操作量を算出する操作量算出生成部を有する、請求項９に記載のニューラルネットワークモデルを用いた制御装置。
PCT/JP2019/008339 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置 WO2020178936A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2019/008339 WO2020178936A1 (ja) 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置
JP2021503283A JP7264408B2 (ja) 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置
EP19917869.0A EP3937088A4 (en) 2019-03-04 2019-03-04 METHOD FOR GENERATION OF A NEURAL NETWORK MODEL AND CONTROL DEVICE WITH NEURAL NETWORK MODEL
US17/461,098 US20210390412A1 (en) 2019-03-04 2021-08-30 Method for generating neural network model and control device using neural network model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/008339 WO2020178936A1 (ja) 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/461,098 Continuation US20210390412A1 (en) 2019-03-04 2021-08-30 Method for generating neural network model and control device using neural network model

Publications (1)

Publication Number Publication Date
WO2020178936A1 true WO2020178936A1 (ja) 2020-09-10

Family

ID=72338253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/008339 WO2020178936A1 (ja) 2019-03-04 2019-03-04 ニューラルネットワークモデルの生成方法、及びニューラルネットワークモデルを用いた制御装置

Country Status (4)

Country Link
US (1) US20210390412A1 (ja)
EP (1) EP3937088A4 (ja)
JP (1) JP7264408B2 (ja)
WO (1) WO2020178936A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7248755B1 (ja) 2021-09-10 2023-03-29 みずほリサーチ＆テクノロジーズ株式会社 学習データ生成システム、学習データ生成方法及び学習データ生成プログラム
WO2023139760A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024059279A1 (en) * 2022-09-17 2024-03-21 Cummins Inc. Digital twin for a fuel system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274207A (ja) 1993-03-22 1994-09-30 Yamatake Honeywell Co Ltd 非線形制御装置
JP2006004399A (ja) * 2004-05-20 2006-01-05 Fujitsu Ltd 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法
JP2010095067A (ja) * 2008-10-15 2010-04-30 Hino Motors Ltd ハイブリッド自動車およびコンピュータ装置ならびにプログラム
WO2019026193A1 (ja) * 2017-08-02 2019-02-07 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10176578A (ja) * 1996-05-28 1998-06-30 Matsushita Electric Ind Co Ltd 空燃比制御装置
US20170091615A1 (en) * 2015-09-28 2017-03-30 Siemens Aktiengesellschaft System and method for predicting power plant operational parameters utilizing artificial neural network deep learning methodologies
JP6791800B2 (ja) * 2017-04-05 2020-11-25 株式会社日立製作所 計算機システム及び再帰型ニューラルネットワークを用いた演算方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06274207A (ja) 1993-03-22 1994-09-30 Yamatake Honeywell Co Ltd 非線形制御装置
JP2006004399A (ja) * 2004-05-20 2006-01-05 Fujitsu Ltd 情報抽出プログラムおよびその記録媒体、情報抽出装置ならびに情報抽出規則作成方法
JP2010095067A (ja) * 2008-10-15 2010-04-30 Hino Motors Ltd ハイブリッド自動車およびコンピュータ装置ならびにプログラム
WO2019026193A1 (ja) * 2017-08-02 2019-02-07 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法、及び、記録媒体

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
See also references of EP3937088A4
UM T, TERRY ET AL.: "Data Augmentation of Wearable Sensor Data for Parkinson's Disease Monitoring using Convolutional Neural Networks", PROCEEDINGS OF THE 19TH ACM INTERNATIONAL CONFERENCE ON MULTIMODAL INTERACTION, 13 November 2017 (2017-11-13), pages 216 - 220, XP080767036, Retrieved from the Internet <URL:https://dl.acm.org/citation.cfm?id=3136817> [retrieved on 20190409] *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7248755B1 (ja) 2021-09-10 2023-03-29 みずほリサーチ＆テクノロジーズ株式会社 学習データ生成システム、学習データ生成方法及び学習データ生成プログラム
JP2023047354A (ja) * 2021-09-10 2023-04-06 みずほリサーチ＆テクノロジーズ株式会社 学習データ生成システム、学習データ生成方法及び学習データ生成プログラム
WO2023139760A1 (ja) * 2022-01-21 2023-07-27 日本電気株式会社 データ拡張装置、データ拡張方法、及び非一時的なコンピュータ可読媒体

Also Published As

Publication number Publication date
US20210390412A1 (en) 2021-12-16
JPWO2020178936A1 (ja) 2020-09-10
EP3937088A1 (en) 2022-01-12
EP3937088A4 (en) 2022-03-23
JP7264408B2 (ja) 2023-04-25

Similar Documents

Publication Publication Date Title
US11326572B2 (en) System and method of predicting vehicle engine torque using artificial neural network
US20210390412A1 (en) Method for generating neural network model and control device using neural network model
JP4499920B2 (ja) 非線形モデルの発生及びそれを用いたシミュレーション試験用駆動信号の発生
JP7231144B2 (ja) エンジン制御装置及びそれが有するニューラルネットワークプログラム
Bennett et al. Engine cylinder pressure reconstruction using crank kinematics and recurrently-trained neural networks
EP3696395A1 (en) State detection system for internal combustion engine, data analysis device, and vehicle
Gutjahr et al. Advanced modeling and optimization for virtual calibration of internal combustion engines
Shi et al. Air–fuel ratio prediction and NMPC for SI engines with modified Volterra model and RBF network
Isermann et al. Design of computer controlled combustion engines
Martínez-Morales et al. Modeling of internal combustion engine emissions by LOLIMOT algorithm
CN102749584B (zh) 基于Kalman滤波的ESN的涡轮发动机的剩余寿命预测方法
Kim et al. Application of adaptive control to the fluctuation of engine speed at idle
Zhou et al. Dynamic simulation of gas turbines via feature similarity-based transfer learning
Zeng et al. A study on extreme learning machine for gasoline engine torque prediction
Taglialatela-Scafati et al. Artificial intelligence for modeling and control of nonlinear phenomena in internal combustion engines
EP3955075A1 (en) Engine model construction method, program, and apparatus
Issondj Banta et al. Simulation of Performance and Emissions Related Parameters in a Thermal Engine Using a Deep Learning Approach
JP2021127742A (ja) 写像の学習方法
Beham et al. Modelling a variable valve timing spark ignition engine using different neural networks
Prokhorov Virtual sensors and their automotive applications
Oyama et al. Online learning of automotive gasoline engine model using robust recursive gaussian process
Neve et al. Estimation of engine maps: A regularized basis-function networks approach
JP7472685B2 (ja) 要因分析装置、要因分析方法、及び要因分析プログラム
Jean et al. Trustworthy estimation and control of engine knocking level for transient operation
Tzoumezi Parameters estimation in marine powertrain using neural networks

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19917869

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021503283

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019917869

Country of ref document: EP

Effective date: 20211004