JP7336425B2 - モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム - Google Patents
モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム Download PDFInfo
- Publication number
- JP7336425B2 JP7336425B2 JP2020173380A JP2020173380A JP7336425B2 JP 7336425 B2 JP7336425 B2 JP 7336425B2 JP 2020173380 A JP2020173380 A JP 2020173380A JP 2020173380 A JP2020173380 A JP 2020173380A JP 7336425 B2 JP7336425 B2 JP 7336425B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- model
- output
- variable
- learning
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Automation & Control Theory (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Health & Medical Sciences (AREA)
- Feedback Control In General (AREA)
- Combined Controls Of Internal Combustion Engines (AREA)
Description
図1は、第1実施形態のモデル学習装置100の構成を示す模式図である。本実施形態のモデル学習装置100は、非線形システムのモデルを学習する装置である。ここで、「非線形システム」とは、任意の制御対象物(システム)に対する入出力パラメータの関係性が一次式では表せない、または、近似できない性質を持つシステムを意味する。また、本実施形態では「モデル」として、非線形の状態方程式を例示する。すなわち、モデル学習装置100は、任意のシステムの状態を、該システムから出力される出力変数yとみなすことで、システムに入力される入力変数vによって制御された結果、システムの出力変数yを予測する非線形の状態方程式を学習する。なお、「状態方程式」とは、「y・(t)=f(y(t)、・・・)」のように、現時刻tにおける出力変数y(t)によって、それ自身の出力変数y・(t)を決定する方程式を意味する。以降、表記の便宜上、任意の変数zの時間微分を「z・」と記載する。
図3は、第2実施形態の制御装置200の構成を示す模式図である。第2実施形態の制御装置200は、学習部212と決定部213を有するCPU210を備える。
本発明は上記の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。また、上記実施形態において、ハードウェアによって実現されるとした構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されるとした構成の一部をハードウェアに置き換えるようにしてもよい。
上記実施形態では、モデル学習装置、または、モデル学習装置を備える制御装置の構成の一例を示した。しかしながら、モデル学習装置および制御装置の構成は、種々の変形が可能であり、これらの構成に限定されない。例えば、モデル学習装置および制御装置の少なくとも一方は、ネットワーク上に配置された複数の情報処理装置(サーバ装置や、車載ECU等を含む)が協働することによって構成されてもよい。
上記実施形態では、モデル学習方法(図2参照)、および、予測制御方法(図4参照)の手順の一例を示した。しかしながら、これらの方法は、種々の変形が可能であり、これらの手順に限定されない。例えば、一部のステップを省略してもよく、説明しない他のステップを追加してもよい。また、一部のステップの実行順序を変更してもよい。
第1実施形態において、状態方程式を式(1)と定義し、式(1)に含まれる写像Ψ、Φのそれぞれを式(2)、(3)で示す内部変数u、xのそれぞれで定義した。しかしながら、写像Ψ、Φのそれぞれの定義は、あくまで一例であり、これらは、任意の形に定義してよい。このとき、内部変数とともに、出力変数yの変化に影響を与える制御不可能な外生入力dを入力とする写像とすることで、システムの将来の状態を高精度に予測することができるモデルとすることができる。
第1実施形態では、モデル学習方法(図2参照)のステップS14において、学習部112は、一致度を用いてモデルを学習するとした。このとき、学習部112は、一致度に加えて、制約条件を満たしているか否かを判断してもよい。例えば、式(1)の状態方程式に含まれる関数A’(d)、関数B’(d)、関数c’(d)のそれぞれに制約条件を設定してもよい。
第1実施形態では、写像Ψ、写像Φ、関数A’(d)、関数B’(d)、および、関数c’(d)は、外生入力dが入力されることで出力されるとした。しかしながら、写像Ψ、写像Φ、関数A’(d)、関数B’(d)、および、関数c’(d)は、外生入力dに依存して出力が変化しなくてもよい。
第2実施形態では、学習部212は、式(2)~式(4)を離散化した式(13)~式(15)に変換した状態方程式を用いて、最適制御問題を解くとした。しかしながら、学習部212は、状態方程式を離散化せずに、最適制御問題を解いてもよい。式(13)~式(15)に変換した状態方程式を用いて最適制御問題を解くことで、内部変数x、uの数を有限とすることができるため、モデルの学習に要する時間を比較的短くすることができる。
110,210…CPU
111…制御部
112,212…学習部
120…記憶部
121…モデル記憶部
122…データセット記憶部
130…ROM/RAM
140…通信部
150…入出力部
200…制御装置
213…決定部
300…システム
Claims (9)
- システムに入力される入力変数vと、前記システムから出力される出力変数yとの関係を表すモデルを学習するモデル学習装置であって、
前記入力変数vを用いて前記出力変数yを予測するための非線形の状態方程式の学習に用いられるモデルを記憶するモデル記憶部と、
前記モデルと、前記モデルに対する入力変数データと出力変数データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習する学習部と、
を備え、
前記モデルは、前記入力変数vを入力とする全単射な写像Ψと、前記出力変数yを入力とする全単射な写像Φと、を含む状態方程式である、
モデル学習装置。 - 請求項1に記載のモデル学習装置であって、
前記モデルは、式(1)によって定義され、
等号の左辺は、前記出力変数yを表すn(nは整数)次元ベクトルの時間微分であり、
等号の右辺のうち、
前記入力変数vは、m(mは整数)次元ベクトルであり、
外生入力dは、前記出力変数yの変化に影響を与える制御不可能な入力を示すp(pは整数)次元ベクトルであり、
前記写像Ψは、前記入力変数vと前記外生入力dを入力としてm次元のベクトルを返す関数であり、
前記写像Φは、前記出力変数yと前記外生入力dを入力としてn次元のベクトルを返す関数であり、
関数A’、関数B’、関数c’のそれぞれは、前記外生入力dを入力として、n×n行列、n×m行列、n次元ベクトルのそれぞれを返す関数である、
モデル学習装置。 - 請求項1から請求項4のいずれか一項に記載のモデル学習装置であって、
前記学習部は、
前記モデルに対して、前記入出力データセットのうちの前記入力変数データのセットを与えて出力を推定し、
推定された出力と、前記入出力データセットのうちの前記出力変数データのセットと、の一致度を評価し、
評価の結果に応じて前記モデルの学習パラメータを更新することで、前記状態方程式を学習する、
モデル学習装置。 - システムを制御する制御装置であって、
請求項6に記載のモデル学習装置と、
前記学習部が学習した前記状態方程式を用いて、前記出力変数yの目標値に対応する前記入力変数vの目標値を決定する決定部と、を備え、
前記決定部は、前記学習部が学習した式(13)~式(15)に示す状態方程式を用いた最適制御問題を解くことで前記入力変数vの目標値を決定する、
制御装置。 - システムに入力される入力変数vと、前記システムから出力される出力変数yとの関係を表すモデルを学習するモデル学習方法であって、
前記入力変数vを用いて前記出力変数yを予測するための非線形の状態方程式の学習に用いられるモデルを取得する工程と、
前記モデルと、前記モデルに対する入力変数データと出力変数データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習する工程と、
を備え、
前記モデルは、前記入力変数vを入力とする全単射な写像Ψと、前記出力変数yを入力とする全単射な写像Φと、を含む状態方程式である、モデル学習方法。 - システムに入力される入力変数vと、前記システムから出力される出力変数yとの関係を表すモデルの学習を情報処理装置に実行させるコンピュータプログラムであって、
前記入力変数vを用いて前記出力変数yを予測するための非線形の状態方程式の学習に用いられるモデルを取得する機能と、
前記モデルと、前記モデルに対する入力変数データと出力変数データの組を複数含んだ入出力データセットと、を用いて前記状態方程式を学習する機能と、を前記情報処理装置に実行させ、
前記モデルは、前記入力変数vを入力とする全単射な写像Ψと、前記出力変数yを入力とする全単射な写像Φと、を含む状態方程式である、コンピュータプログラム。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020173380A JP7336425B2 (ja) | 2020-10-14 | 2020-10-14 | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム |
AU2021240175A AU2021240175B2 (en) | 2020-10-14 | 2021-09-29 | Model learning apparatus, control apparatus, model learning method and computer program |
EP21201896.4A EP3985461A1 (en) | 2020-10-14 | 2021-10-11 | Model learning apparatus, control apparatus, model learning method and computer program |
US17/499,546 US20220114461A1 (en) | 2020-10-14 | 2021-10-12 | Model learning apparatus, control apparatus, model learning method and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020173380A JP7336425B2 (ja) | 2020-10-14 | 2020-10-14 | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022064643A JP2022064643A (ja) | 2022-04-26 |
JP7336425B2 true JP7336425B2 (ja) | 2023-08-31 |
Family
ID=78087158
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020173380A Active JP7336425B2 (ja) | 2020-10-14 | 2020-10-14 | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20220114461A1 (ja) |
EP (1) | EP3985461A1 (ja) |
JP (1) | JP7336425B2 (ja) |
AU (1) | AU2021240175B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023121777A1 (en) * | 2021-12-23 | 2023-06-29 | Virtualitics, Inc. | Software engines configured for detection of high impact scenarios with machine learning-based simulation |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008250665A (ja) | 2007-03-30 | 2008-10-16 | Toyota Motor Corp | 線形化変換装置及び線形化変換プログラム |
DE102018203137A1 (de) | 2018-03-02 | 2019-09-05 | Robert Bosch Gmbh | Verfahren, Vorrichtung und Computerprogramm zum Betreiben eines zumindest teilautonomen Fahrzeugs |
DE102020108243A1 (de) | 2019-03-25 | 2020-10-01 | Avl List Gmbh | Verfahren und Regelungseinheit zur Regelung eines nichtlinearen technischen Prozesses |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000049232A (ko) * | 1996-10-18 | 2000-07-25 | 칼 하인쯔 호르닝어 | 비선형 특성을 가진 1차 다이내믹 시스템을 모델링 및 제어하기위한 방법 |
JP2018179888A (ja) | 2017-04-20 | 2018-11-15 | Jfeスチール株式会社 | ねじ先端部位置検出方法 |
JP2020051305A (ja) | 2018-09-26 | 2020-04-02 | いすゞ自動車株式会社 | 車載制御装置、及び管理サーバ |
-
2020
- 2020-10-14 JP JP2020173380A patent/JP7336425B2/ja active Active
-
2021
- 2021-09-29 AU AU2021240175A patent/AU2021240175B2/en active Active
- 2021-10-11 EP EP21201896.4A patent/EP3985461A1/en active Pending
- 2021-10-12 US US17/499,546 patent/US20220114461A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008250665A (ja) | 2007-03-30 | 2008-10-16 | Toyota Motor Corp | 線形化変換装置及び線形化変換プログラム |
DE102018203137A1 (de) | 2018-03-02 | 2019-09-05 | Robert Bosch Gmbh | Verfahren, Vorrichtung und Computerprogramm zum Betreiben eines zumindest teilautonomen Fahrzeugs |
DE102020108243A1 (de) | 2019-03-25 | 2020-10-01 | Avl List Gmbh | Verfahren und Regelungseinheit zur Regelung eines nichtlinearen technischen Prozesses |
Also Published As
Publication number | Publication date |
---|---|
AU2021240175B2 (en) | 2023-07-13 |
AU2021240175A1 (en) | 2022-04-28 |
JP2022064643A (ja) | 2022-04-26 |
EP3985461A1 (en) | 2022-04-20 |
US20220114461A1 (en) | 2022-04-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sokolov et al. | Complete stability analysis of a heuristic approximate dynamic programming control design | |
JP4918207B2 (ja) | 経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法 | |
JP5768834B2 (ja) | プラントモデル管理装置及び方法 | |
WO2016195117A1 (en) | Method and system for controlling operation of machine | |
Diagne et al. | Compensation of input delay that depends on delayed input | |
KR20210118182A (ko) | 이중 액터 크리틱 알고리즘을 통한 강화 학습 | |
JP7279445B2 (ja) | 予測方法、予測プログラムおよび情報処理装置 | |
Rizvi et al. | Output feedback reinforcement Q-learning control for the discrete-time linear quadratic regulator problem | |
JP7090734B2 (ja) | 制御システム、制御方法及び記憶媒体 | |
KR102577188B1 (ko) | 목표 시스템에 대한 제어 시스템 생성 | |
JP2020135390A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP5994947B2 (ja) | 制御系設計支援装置、制御系設計支援プログラム、制御系設計支援方法、操作変化量算出装置および制御装置 | |
JP7336425B2 (ja) | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム | |
JP2009175917A (ja) | 制御パラメータ調整方法および制御パラメータ調整プログラム | |
JP2019053593A (ja) | 方策改善プログラム、方策改善方法、および方策改善装置 | |
Beeson et al. | Balancing policy constraint and ensemble size in uncertainty-based offline reinforcement learning | |
Liu et al. | Event‐triggered model‐free adaptive control for nonlinear systems with output saturation | |
WO2019142728A1 (ja) | 制御装置、制御方法およびプログラム記録媒体 | |
JP7060130B1 (ja) | 運用支援装置、運用支援方法及びプログラム | |
WO2020121494A1 (ja) | 演算装置、アクション決定方法、及び制御プログラムを格納する非一時的なコンピュータ可読媒体 | |
JP2023027851A (ja) | 訓練装置、プラント、モデルを生成する方法、推論装置、推論方法及びプラントの制御方法 | |
Vrabie et al. | Generalized policy iteration for continuous-time systems | |
JP7410901B2 (ja) | モデル学習装置、制御装置、モデル学習方法、および、コンピュータプログラム | |
JP7227940B2 (ja) | モデル学習装置、モデル学習方法、制御装置、制御方法、及びコンピュータプログラム | |
Chen et al. | Neural Based Grey Nonlinear Control for Real-World Example of Mechanical Systems |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220511 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230516 |
|
RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20230628 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230710 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20230628 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230821 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7336425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |