JP7410901B2 - モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム - Google Patents
モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム Download PDFInfo
- Publication number
- JP7410901B2 JP7410901B2 JP2021044033A JP2021044033A JP7410901B2 JP 7410901 B2 JP7410901 B2 JP 7410901B2 JP 2021044033 A JP2021044033 A JP 2021044033A JP 2021044033 A JP2021044033 A JP 2021044033A JP 7410901 B2 JP7410901 B2 JP 7410901B2
- Authority
- JP
- Japan
- Prior art keywords
- output
- input
- variable
- model
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 52
- 238000004590 computer program Methods 0.000 title claims description 11
- 230000006870 function Effects 0.000 claims description 45
- 238000013507 mapping Methods 0.000 claims description 40
- 230000008859 change Effects 0.000 claims description 17
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000011156 evaluation Methods 0.000 claims description 13
- 230000010365 information processing Effects 0.000 claims description 8
- 230000004913 activation Effects 0.000 claims description 6
- 239000011159 matrix material Substances 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 description 42
- 238000010586 diagram Methods 0.000 description 11
- 238000012986 modification Methods 0.000 description 8
- 230000004048 modification Effects 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000000052 comparative effect Effects 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 3
- 238000002485 combustion reaction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F30/00—Computer-aided design [CAD]
- G06F30/20—Design optimisation, verification or simulation
- G06F30/27—Design optimisation, verification or simulation using machine learning, e.g. artificial intelligence, neural networks, support vector machines [SVM] or training a model
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
- G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Medical Informatics (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Neurology (AREA)
- Feedback Control In General (AREA)
Description
図1は、第1実施形態のモデル学習装置100の構成を示す模式図である。本実施形態のモデル学習装置100は、入出力パラメータの関係性が一次式では表せない、または、近似できない性質を持つ、非線形の制御対象物(システム)のモデルを学習する。本実施形態では、「モデル」とは、非線形の状態方程式であって、実験データやシミュレーションデータなどから学習され、システムへの入力に対する出力に関する時間変化を近似的に表現できる状態方程式である。すなわち、モデル学習装置100は、非線形のシステムの状態を、該システムから出力される出力変数yとみなすことで、システムに入力される入力変数uによって制御された結果、システムの出力変数yを予測する非線形の状態方程式を学習する。なお、「状態方程式」とは、「y・(t)=f(y(t)、・・・)」のように、現時刻tにおける出力変数y(t)によって、それ自身の出力変数y・(t)を決定する方程式を意味する。以降、表記の便宜上、任意の変数zの時間微分を[z・]と記載し、任意の変数zについて、時間微分が0となるzの値を[z-]と記載する。
図5は、第2実施形態のモデル学習方法のフローチャートである。第2実施形態のモデル学習方法は、学習するモデルを修正する方法が第1実施形態と異なる。
図8は、第3実施形態の制御装置200の構成を示す模式図である。第3実施形態の制御装置200は、制御部111と、学習部112と、決定部213を有するCPU210を備える。
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。また、上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
上記実施形態では、モデル学習装置、または、制御装置の構成の一例を示した。しかしながら、モデル学習装置および制御装置の構成は、種々の変形が可能であり、これらの構成に限定されない。例えば、モデル学習装置および制御装置の少なくとも一方は、ネットワーク上に配置された複数の情報処理装置(サーバ装置や、車載ECU等を含む)が協働することによって構成されてもよい。
上記実施形態では、モデル学習方法(図2および図5参照)の手順の一例を示した。しかしながら、これらの方法は、種々の変形が可能であり、これらの手順に限定されない。例えば、一部のステップを省略してもよく、説明しない他のステップを追加してもよい。また、一部のステップの実行順序を変更してもよい。
上記実施形態では、状態方程式を式(1)と定義し、式(1)に含まれる写像Φの出力を式(2)で示す内部変数xで定義した。しかしながら、写像Φのそれぞれの定義は、あくまで一例であり、これらは、任意の形に定義してよい。
第1実施形態および第2実施形態では、モデル学習方法(図2参照)において、学習部112は、式(14)~式(16)に記載の式によって算出される一致度を用いてモデルを学習するとした。このとき、学習部112は、一致度に加えて、制約条件を満たしているか否かを判断してもよい。例えば、式(1)の状態方程式に含まれる関数A(u)や関数f(u)のそれぞれに制約条件を設定してもよい。
第1実施形態および第2実施形態では、写像Φをニューラルネットワークの考え方を用いて式(4)~式(7)で定義するとした。しかしながら、写像Φの定義はこれに限定されない。写像Φは、出力変数yを入力とする全単射な写像であればよい。
上述の実施形態では、学習したモデルによる推定値の評価結果があらかじめ設定された評価の基準を満たさない場合、第1実施形態では、学習パラメータを変更することで、モデルを再学習し、出力を推定するとした。第2実施形態では、学習パラメータを変更するとともに、入出力データセットに渡過データまたは定常データを追加することで新たな入出力データセットを作成し、モデルを再学習することで出力を推定するとした。しかしながら、モデルを再学習するための判定の方法は、これらに限定されない。出力の推定値が入出力データセットに含まれる出力値に近いか否かを判定する方法であればよい。
第2実施形態のモデル学習方法では、過渡状態での一致度Jtと、定常状態の一致度Jsとのそれぞれを評価するとした。しかしながら、第1実施形態の式(16)のように、重みづけを加味した計算式を用いて評価してもよい。また、第2実施形態では、過渡状態での一致度Jtを評価することで、過渡データを追加し、新たにモデルを学習するための新たな入出力データを作成するとした。定常値の予測精度を向上させるため、定常状態での一致度Jsの評価のみとし、過渡状態での一致度Jtの評価は行わなくてもよい。
110,210…CPU
111…制御部
112…学習部
120…記憶部
121…モデル記憶部
122…データセット記憶部
130…ROM/RAM
140…通信部
150…入出力部
200…制御装置
213…決定部
300…システム
Claims (9)
- システムに入力される入力変数uと、前記システムから出力される出力変数yとの関係を表すモデルを学習するモデル学習装置であって、
前記入力変数uを用いて前記出力変数yを予測するための非線形の状態方程式の学習に用いられるモデルを記憶するモデル記憶部と、
前記モデルと、前記出力変数yの定常値のデータと前記定常値のデータに対応する前記入力変数uのデータとの組を含んだ入出力データセットと、を用いて前記状態方程式を学習する学習部と、を備え、
前記モデルは、前記出力変数yを入力とする全単射な写像Φを含む状態方程式である、
モデル学習装置。 - 請求項1に記載のモデル学習装置であって、
前記モデルは、式(1)によって定義され、
等号の左辺は、前記出力変数yを表すn(nは整数)次元ベクトルの時間微分であり、
等号の右辺のうち、
前記入力変数uは、前記出力変数yの変化に影響を与える入力変数を表すm(mは整数)次元ベクトルであり、
関数Aは、前記入力変数uを入力として、n×n行列を返す関数であり、
前記写像Φは、前記出力変数yと前記入力変数uを入力としてn次元のベクトルを返す関数であり、
関数fは、前記入力変数uを入力としてn次元のベクトルを返す関数であり、
前記入力変数uの上にドットが付された記号は、前記入力変数uの時間微分である、
モデル学習装置。 - 請求項1から請求項4のいずれか一項に記載のモデル学習装置であって、
前記学習部は、
前記モデルに対して、前記入出力データセットに含まれる、前記定常値のデータに対応する入力変数uのデータを含む前記入力変数のデータセットを与えて出力を推定し、
推定された出力と、前記入出力データセットに含まれる、前記入力変数yの定常値のデータを含む前記出力変数のデータセットとの一致度を評価し、
評価の結果に応じて前記モデルの学習パラメータを更新することで、前記状態方程式を学習する、
モデル学習装置。 - 請求項1から請求項4のいずれか一項に記載のモデル学習装置であって、
前記学習部は、
前記モデルに対して、前記入出力データセットに含まれる、前記定常値のデータに対応する入力変数uのデータを含む前記入力変数のデータセットを与えて出力を推定し、
推定された出力と、前記入出力データセットに含まれる、前記入力変数yの定常値のデータを含む前記出力変数のデータセットとの一致度を評価し、
評価の結果に応じて、前記出力の推定と前記一致度の評価に用いた前記入出力データセットに、前記出力変数yの定常値のデータと前記定常値のデータに対応する前記入力変数uのデータとの新たな組を追加することで、新たな入出力データセットを作成し、
前記新たな入出力データセットを用いて、前記状態方程式を学習する、
モデル学習装置。 - システムを制御する制御装置であって、
請求項1から請求項6のいずれか一項に記載のモデル学習装置と、
前記学習部が学習した前記状態方程式を用いて、前記出力変数yの目標値に対応する前記入力変数uを決定する決定部と、を備える、
制御装置。 - システムに入力される入力変数uと、前記システムから出力される出力変数yとの関係を表すモデルを学習するモデル学習方法であって、
前記入力変数uを用いて前記出力変数yを予測するための非線形の状態方程式の学習に用いられるモデルを取得する工程と、
前記モデルと、前記出力変数yの定常値のデータと前記定常値のデータに対応する前記入力変数uのデータとの組を含んだ入出力データセットと、を用いて前記状態方程式を学習する工程と、を備え、
前記モデルは、前記出力変数yを入力とする全単射な写像Φを含む状態方程式である、モデル学習方法。 - システムに入力される入力変数uと、前記システムから出力される出力変数yとの関係を表すモデルの学習を情報処理装置に実行させるコンピュータプログラムであって、
前記入力変数uを用いて前記出力変数yを予測するための非線形の状態方程式の学習に用いられるモデルを取得する機能と、
前記モデルと、前記出力変数yの定常値のデータと前記定常値のデータに対応する前記入力変数uのデータとの組を含んだ入出力データセットと、を用いて前記状態方程式を学習する機能と、を前記情報処理装置に実行させ、
前記モデルは、前記出力変数yを入力とする全単射な写像Φを含む状態方程式である、コンピュータプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044033A JP7410901B2 (ja) | 2021-03-17 | 2021-03-17 | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム |
US17/683,981 US20220300683A1 (en) | 2021-03-17 | 2022-03-01 | Model learning apparatus, control apparatus, model learning method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021044033A JP7410901B2 (ja) | 2021-03-17 | 2021-03-17 | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022143499A JP2022143499A (ja) | 2022-10-03 |
JP7410901B2 true JP7410901B2 (ja) | 2024-01-10 |
Family
ID=83283601
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021044033A Active JP7410901B2 (ja) | 2021-03-17 | 2021-03-17 | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20220300683A1 (ja) |
JP (1) | JP7410901B2 (ja) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180268288A1 (en) | 2017-03-14 | 2018-09-20 | General Electric Company | Neural Network for Steady-State Performance Approximation |
WO2020243756A1 (en) | 2019-05-31 | 2020-12-03 | Abiomed, Inc. | Intra-aortic pressure forecasting |
-
2021
- 2021-03-17 JP JP2021044033A patent/JP7410901B2/ja active Active
-
2022
- 2022-03-01 US US17/683,981 patent/US20220300683A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20180268288A1 (en) | 2017-03-14 | 2018-09-20 | General Electric Company | Neural Network for Steady-State Performance Approximation |
WO2020243756A1 (en) | 2019-05-31 | 2020-12-03 | Abiomed, Inc. | Intra-aortic pressure forecasting |
Non-Patent Citations (1)
Title |
---|
木村 駿介, 中村 文一, 伊吹 竜也, 三平 満司,状態制約を有する非線形システムに対する状態方程式を保持する変換,計測自動制御学会論文集,第53巻 第6号,公益社団法人 計測自動制御学会,2017年06月30日,pp.337-345 |
Also Published As
Publication number | Publication date |
---|---|
US20220300683A1 (en) | 2022-09-22 |
JP2022143499A (ja) | 2022-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5345551B2 (ja) | 計算機支援による技術システムの開ループ制御および/または閉ループ制御のための方法 | |
Hou et al. | Data-efficient hierarchical reinforcement learning for robotic assembly control applications | |
JP5768834B2 (ja) | プラントモデル管理装置及び方法 | |
JP3743247B2 (ja) | ニューラルネットワークによる予測装置 | |
Narendra et al. | Fast reinforcement learning using multiple models | |
JP2010524104A (ja) | 技術システムをコンピュータ支援により制御および/または調整するための方法 | |
JP2010514986A (ja) | 技術システムの、とりわけガスタービンの、計算機支援による閉ループ制御および/または開ループ制御のための方法 | |
JPWO2002063402A1 (ja) | エージェント学習装置、方法、プログラム | |
CN111684695B (zh) | 电力变换器的控制装置 | |
WO2018143019A1 (ja) | 情報処理装置、情報処理方法およびプログラム記録媒体 | |
KR102266620B1 (ko) | 로봇 물체 조작 학습 시스템 | |
JP7410901B2 (ja) | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム | |
JP7336425B2 (ja) | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム | |
JP7264845B2 (ja) | 制御システム及び制御方法 | |
JP6947029B2 (ja) | 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラム | |
JP7196935B2 (ja) | 演算装置、アクション決定方法、及び制御プログラム | |
WO2019142728A1 (ja) | 制御装置、制御方法およびプログラム記録媒体 | |
JP2020035325A (ja) | 設計システム、学習済みモデル生成方法、および設計プログラム | |
JP2019125021A (ja) | 情報処理装置、情報処理方法、コンピュータプログラム、内燃機関の制御装置 | |
CN104537224A (zh) | 基于自适应学习算法的多状态系统可靠性分析方法及系统 | |
JP7227940B2 (ja) | モデル学習装置、モデル学習方法、制御装置、制御方法、及びコンピュータプログラム | |
de Lope | Ex< α>: An effective algorithm for continuous actions reinforcement learning problems | |
JP2020179438A (ja) | 計算機システム及び機械学習方法 | |
JP2021012600A (ja) | 診断方法、学習方法、学習装置およびプログラム | |
Wang et al. | A Traffic Prediction Method for Tactical Communication Intelligent Network Based on Cross-Domain Synergy |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221122 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231127 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231212 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231222 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7410901 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |