JP7432838B2

JP7432838B2 - 制御装置

Info

Publication number: JP7432838B2
Application number: JP2021515681A
Authority: JP
Inventors: 勝敏井▲崎▼; 誠司橋本
Original assignee: RKC Instrument Inc
Current assignee: RKC Instrument Inc
Priority date: 2019-04-26
Filing date: 2019-04-26
Publication date: 2024-02-19
Anticipated expiration: 2039-04-26
Also published as: WO2020217445A1; US20220207328A1; KR20220004981A; CN113748385A; CN113748385B; JPWO2020217445A1

Description

本発明は、制御装置に係り、特に、むだ時間を含む制御対象を制御する制御装置に関する。

ニューラルネットワークをフィードバック制御に用いた手法として、制御対象の逆システムを利用するフィードバック誤差学習方法及びシステムが知られている。図２は、そのフィードバック誤差学習システムのブロック図を示す。この手法では、ニューラルネットワーク制御器１１０は、フィードバック制御器の出力ｘｃを教師信号とし、学習経過によりｘｃが０となるように学習を行う。これにより、誤差ｅを０及び出力ｙを目標値ｙｄにするよう学習及び制御が行われる。したがって、学習後には、使用する制御器はフィードバック制御器１２０からニューラルネットワーク制御器１１０へシフトする。その結果、制御系１００は、フィードバック構造からフィードフォワード構造に置換される。

また、ニューラルネットワークを用いた制御系に規範モデルを導入した手法として、例えば、以下の手法が開示されている。特許文献１には、操舵量信号に基づいて理想的な期待応答の時系列データ信号を出力する規範モデルの当該出力と、フィードバック制御部の出力とをニューラルネットワーク部に入力する制御装置が開示されている。特許文献２には、フィードバック制御器そのものをニューラルネットワーク学習型の制御器とした構造が開示されている。また、特許文献３には、非線形関数近似能力を有するニューラルネットワークにより推定装置を構成し、補償器構成要素として組み込む制御装置が開示されている。

特開平０７－２７７２８６号公報特開平０６－０３５５１０号公報特開平０４－２６４６０２号公報

上述の図２に示すようなシステムでは、繰り返しのステップ指令に対する出力応答波形において、ステップ毎に、すなわち時間経過に伴って応答性が改善されない場合がある。これは、制御対象のむだ時間に起因し、制御対象への入力信号があってもその応答（制御対象からの出力）が無い状態では、ニューラルネットワークが学習できない場合があるためと考えられる。

ここで、むだ時間に起因した出力の応答遅れによるニューラルネットワークの学習遅れを防止するために、所望の応答が得られる規範モデルを用い、その規範モデルにむだ時間を持たせ、実際の出力が規範モデルの出力に追従するようにニューラルネットワークを学習させる手法が考えられる。しかしながら、例えば、特許文献１～３のような規範モデルを用いた手法では、以下のような課題がある。

まず、特許文献１に開示された手法は、基本的に、従来のフィードバック誤差学習方式と同様であり、この手法では規範モデルにむだ時間を加えても制御対象への遅れは更に遅れる。したがって、特許文献１に開示された手法では、学習遅れは改善できない。

特許文献２に開示された手法では、規範モデルにむだ時間を含めれば学習遅れは回避しうる。しかしながら、ニューラルネットワーク制御器の初期設計段階で、制御対象のモデルが必要である。したがって、制御器の設計が複雑であり、モデル誤差も生じ得る。また、目標値応答、外乱及び変動など全ての補償対象をニューラルネットワーク制御器で補償する必要が有る。そのため、補償対象別に制御器を設計・調整することが困難であり、補償器の学習による修正が複雑となる。特許文献３に開示された手法においても、特許文献２と同様の課題がある。

上述の各手法は、いずれもむだ時間のない、又はむだ時間の影響が無視できる系での規範モデルへの追従性に主眼をおいた制御法であり、むだ時間を考慮した過渡特性の改善に対する性能改善については焦点を当てていない。その結果、上述の各手法では、むだ時間システムに対する過渡応答特性と、ニューラルネットワークの学習効果による更なる特性改善を両立して実現することは困難である。

本発明は以上の点に鑑み、上記の課題を解決する制御系を構築することを目的にひとつとする。また、本発明は、むだ時間システムに対してもニューラルネットワークがむだ時間の影響なく学習し、指令入力に対する過渡特性を改善する能力を有する制御装置を提供することを目的とする。

本発明の第１の態様によると、
むだ時間要素を含む制御対象を制御するフィードバック制御器と、
むだ時間要素を含み、入力に対する所望の応答波形を出力する規範モデル部と、
出力が前記フィードバック制御器の出力と加算されて前記制御対象に入力される学習型制御器であって、前記学習型制御器からの出力の変化により前記制御対象の出力と前記規範モデル部の出力の誤差が最小化又は予め定められた閾値以下になるように、学習する前記学習型制御器と、
を備えた制御装置が提供される。

本発明の第２の態様によると、
予め設計されたフィードバック制御器を用いて制御対象を制御する制御系に適用される制御装置であって、
むだ時間要素を含み、入力に対する所望の応答波形を出力する規範モデル部と、
出力が前記フィードバック制御器の出力と加算されて前記制御対象に入力される学習型制御器であって、前記学習型制御器からの出力の変化により前記制御対象の出力と前記規範モデル部の出力の誤差が最小化又は予め定められた閾値以下になるように、学習する前記学習型制御器と、
を備えた制御装置が提供される。

本発明によると、むだ時間システムに対してもニューラルネットワークがむだ時間の影響なく学習し、指令入力に対する過渡特性を改善する能力を有する制御装置を提供することができる。

本実施形態に係る制御系のブロック図。比較例の制御系のブロック図。比較例の制御系における繰り返しステップ応答波形。比較例の制御系における繰り返しステップ応答波形の重ね合わせ比較図。本実施形態の制御系における繰り返しステップ応答波形。本実施形態の制御系における繰り返しステップ応答波形の重ね合わせ比較図。

以下、本発明の実施形態を図面を参照して説明する。

＜本実施形態の概要＞
まず、本実施形態の概要を説明する。本実施形態の制御系（制御システム）は、プロセス制御系などのむだ時間を持つ制御対象の出力を、同様にむだ時間を含む規範モデルの出力に、学習により追従させる制御手法を用いる。

フィードバック（ＦＢ）制御器は、従来のフィードバック（ＦＢ）制御器を使用することができる。制御対象の応答を、むだ時間を有する規範モデルの出力に追従させる。そのために、ニューラルネットワーク制御器において、制御対象の出力（実出力）と規範モデルの出力との誤差を、ニューラルネットワークの教師信号とし、その誤差を例えば最小化するようにニューラルネットワークを学習させる。また、ニューラルネットワーク制御器の出力を、フィードバック制御器の出力に加算して制御対象への入力とし、制御対象を制御する。

＜本実施の形態の説明＞
図１は、本実施形態に係る制御系のブロック図である。本実施形態に係る制御系は、制御対象２を制御する制御装置１を含む。制御装置１は、フィードバック制御器１０と、規範モデル部２０と、ニューラルネットワーク制御器３０とを有する。

フィードバック制御器１０は、制御対象２の出力に関する予め定められた目標値ｙｄに従い、制御対象２を制御する。例えば、フィードバック制御器１０は、予め定められた目標値（ＳＶとも称する）ｙｄと、制御対象２の出力（測定値、ＰＶとも称する）の差ｅを入力し、所定の制御演算を行い、制御対象２への操作量（第１操作量）を出力する。フィードバック制御器１０は、例えば、メインの制御器として動作する。例えば、フィードバック制御器１０は、モデル化誤差が無く、外乱が無いと仮定した場合に、制御対象２の出力を所望の設計通りに動作させるための制御器である。フィードバック制御器１０としては、例えば、オートチューニングなどで自動的に設計可能なＰＩＤ制御器などを用いることができる。また、フィードバック制御器１０には、行き過ぎ量を抑えたＩ－ＰＤ制御器を用い、目標値に対する立ち上がりはニューラルネットワーク制御器３０で改善することもできる。

規範モデル部２０は、むだ時間（むだ時間要素）を含み、入力に対する所望の応答波形を出力する。規範モデル部２０は、目標値ｙｄを入力する。規範モデル部２０の入出力の関係は、例えばむだ時間要素を含む１次遅れ系などで表すことができるが、これに限らず、むだ時間要素を含む適宜の関係でもよい。規範モデル部２０のむだ時間は、例えば、制御対象２のむだ時間と同じ時間に設定されることができる。また、規範モデル部２０のむだ時間は、制御対象２のむだ時間と同程度の時間でもよい。ここで同程度とは、例えば、ニューラルネットワーク制御器３０により、制御対象２の出力の応答性が改善される程度であればよい。また、制御対象２のむだ時間を予め定められた桁で丸めた値、換言すると、予め定められた許容誤差の範囲内の値でもよい。一例として、規範モデル部２０のむだ時間は、制御対象２のむだ時間に対してプラスマイナス１０％程度の範囲内であってもよく、プラスマイナス３０％程度の範囲内であってもよい。むだ時間を含む規範モデル部２０の出力と制御対象２の出力との誤差ｅｙを、ニューラルネットワーク制御器３０に教師信号として与える。

ニューラルネットワーク制御器３０の出力（第２操作量）は、フィードバック制御器１０の出力（第１操作量）と加算されて、制御対象２に入力される。ニューラルネットワーク制御器３０は、ニューラルネットワーク制御器３０の出力の変化（調整）によって制御対象２の出力と規範モデル部２０の出力の誤差ｅｙが最小化又は予め定められた閾値以下になるようにニューラルネットワークを用いて学習する。例えば、ニューラルネットワーク制御器３０は、２乗誤差ｅｙ^２を最小化するように、最急降下法とバックプロパゲーションにより学習する。ニューラルネットワーク制御器３０には、入力信号として、目標値ｙｄと制御対象の出力ｙとを入力する。ニューラルネットワーク制御器３０は、入力信号と学習結果に応じた出力を供給する。また、ニューラルネットワーク制御器３０からの出力ｘＮは、上述のようにフィードバック制御器１０の出力と加算されて操作量ｘが求められ、制御対象２へ入力される。このようにニューラルネットワーク制御器３０の出力ｘＮをフィードバック制御器１０の出力と加算して制御対象２へ入力することで、フィードバック制御器１０とニューラルネットワーク制御器３０の役割分担が可能となる。なお、ニューラルネットワーク制御器３０は、入力信号として誤差ｅｙをさらに入力してもよい。

なお、ニューラルネットワークは、入力及び出力と、１又は複数の中間層とを有する。中間層は、複数のノードで構成される。ニューラルネットワークの構成は適宜の構成を用いることができ、ニューラルネットワークの学習方法については公知の学習方法を用いることができる。

また、制御装置１は、制御対象２の出力ｙと、規範モデル部２０の出力との差ｅｙを求める差分器１１と、フィードバック制御器１０の出力とニューラルネットワーク制御器３０の出力とを加算する加算器１２と、目標値ｙｄと制御対象２の出力ｙとの差ｅを求める差分器１３とを有してもよい。

規範モデル部２０とニューラルネットワーク制御器３０は、例えばＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）及びＤＳＰ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）などの処理部と、メモリなどの記憶部を有するデジタル装置によって実装されてもよい。規範モデル部２０とニューラルネットワーク制御器３０の処理部及び記憶部は、共通の処理部及び記憶部を用いてもよいし、別々の処理部及び記憶部を用いてもよい。また、ニューラルネットワーク制御器３０は、複数の処理部を有し、少なくとも一部の処理を並列に実行してもよい。

（効果）
本実施形態の制御装置によると、例えば以下の効果を奏する。ただし、本実施形態の制御装置は、必ずしも以下の全ての効果を奏する装置に限定されるものではない。
フィードバック制御器１０としてオートチューニングを用いて設計可能な制御器などが利用可能である。そのため、フィードバック制御器１０の設計に際して、制御対象２のモデルが不要である。また、ニューラルネットワーク制御器３０の設計にも制御対象２のモデルが不要であるため、制御装置１の各制御器の設計に対し、モデルが不要である。

本実施形態の制御系では、規範モデル部２０の出力に制御対象２の出力が追従するよう学習する。規範モデル部２０にむだ時間を持たせることで、制御対象２の出力が無い状態でニューラルネットワーク制御器３０がニューラルネットワークを用いた学習を開始することを回避することができる（すなわち、因果性が成立する）。また、ニューラルネットワークの学習において、むだ時間に先行し学習が行われるという問題を回避できる。したがって、ニューラルネットワークの学習をむだ時間分だけ遅らせる必要がなく、学習周期を意図的に大きくする必要もない。これにより制御対象２の出力を増大させようとニューラルネットワーク制御器３０が過剰な制御入力を与えるといった現象を回避できる。

フィードバック制御器１０の役割は、主として設計時のノミナル仕様を満たすように動作することである。例えば、フィードバック制御器１０は、制御系における制御装置（コントローラ）としての仕様、ＰＩＤの動作仕様などを満たすように動作する。一方、ニューラルネットワーク制御器３０の役割は、学習の後に制御対象２の出力を規範モデル部２０の出力に追従させるよう動作することである。さらに、ニューラルネットワーク制御器３０は、モデル化誤差や外乱が生じた場合に、モデル化誤差や外乱を補償する。このような誤差や外乱が生じる場合、制御対象２の出力と規範モデル部２０の出力とに誤差が生じることなり、ニューラルネットワーク制御器３０は、この誤差に基づき動作することでモデル化誤差や外乱を補償する。

以上の効果に加え、本実施形態の制御装置は、以下の効果も有する。
・規範モデル部２０の出力へ追従する構成であるため、規範モデル部２０の設定及び調整によりニューラルネットワークの学習が進んでも制御入力が過大になりにくい。換言すると、制御対象２の入力を間接的に調整できる。
・ニューラルネットワーク制御器３０の設計には制御対象のモデルが必要ない。また、オートチューニングにより設計されるフィードバック制御器１０を利用できるため、制御系がモデルレスで設計可能である。
・ニューラルネットワークの学習が進んでもフィードフォワード構造にシフトせず、フィードバック制御系を維持できる。例えば、規範モデル部２０の出力と制御対象２の出力との誤差がゼロである場合、フィードバック制御器１０のみ動作しているのと同等である。
・フィードバック制御器１０にＩ－ＰＤ構造を利用することで、ニューラルネットワークの学習経過により行き過ぎ量なく応答性のみを改善することができる。例えば、制御対象２の出力は、制御開始直後は立ち上がりが遅くなるが、行き過ぎ量を抑えつつ、学習が進むにつれ立ち上がりを改善していく、というような制御が可能となる。また、ニューラルネットワーク制御器３０の学習が良好でない場合、又は制御性能が改善されていかない場合などは、ニューラルネットワーク制御器３０の出力を制限又はゼロとしても初期の基本性能がフィードバック制御器１０により保証される。
・規範モデル部２０の出力にあわせて学習するため、多入力多出力システムへの適用（ＭＩＭＯ（ｍｕｌｔｉｐｌｅ－ｉｎｐｕｔａｎｄｍｕｌｔｉｐｌｅ－ｏｕｔｐｕｔ）化）が容易である。例えば、多点の温度を制御する制御系において、過渡状態を含めて多点（多出力）の温度の均一化制御が可能である。なお、多入力多出力システムへ適用する場合には、上述の誤差、操作量等は、入出力に対応した複数の要素を含み、例えばベクトルで表すことができる。

本実施形態の制御装置は、むだ時間を有する制御系、例えばプロセス制御系や温度調整系に適用できる。具体的な例として、温調・空調システム、射出成型機及びホットプレートなどが挙げられる。このような分野では、制御対象のモデルを導出することなく、制御入力のオンオフを利用したオートチューニングによりフィードバック制御器の設計が行われるのが一般的である。本実施形態は、このような既存の制御系に対して付加的にニューラルネットワークを用いた制御器を導入することで、モデルを用いない既存の設計法を継承し、さらに動作とともに学習による制御性能改善を図ることができるという利点を有する。

（シミュレーション結果）
本実施形態における制御装置１を用いた制御系のシミュレーション結果及び効果を、比較例と対比して説明する。

まず、比較例における応答波形について説明する。図２は、比較例の制御系のブロック図である。比較例として、関連技術として上述したフィードバック誤差学習システムを用いる。この例では、ニューラルネットワーク制御器１１０は、教師信号としてフィードバック制御器１２０の出力ｘｃを用い、学習経過によりｘｃが０となるように学習を行う。これにより、比較例の制御系は、目標値ｙｄと制御対象１３０との誤差ｅを０にする（換言すると、出力ｙを目標値ｙｄにする）よう学習及び制御する。したがって、学習後には、使用する制御器はフィードバック制御器１２０からニューラルネットワーク制御器１１０へシフトする。ここで、フィードバック制御器１２０はＰＩ制御器を用いた。ニューラルネットワーク制御器１１０のニューラルネットワークは中間層が２層であり、各層のノード数は１０とした。

図３は、比較例の制御系における繰り返しステップ応答波形を示す。図３の横軸は時間である。図３は上段に目標値（繰り返しステップ指令）３１に対する制御対象１３０の出力応答波形３２を示し、下段にフィードバック制御器１２０の出力（ＦＢＡ）３３とニューラルネットワーク制御器１１０の出力（ＮＮｏｕｔ）３４とを示す。図３に示すように、時間経過にともなう応答性の改善は見られない。

図４は、比較例の制御系における繰り返しステップ応答波形の重ね合わせ比較図である。図４の横軸は時間である。図４は、上段に複数の正方向へのステップ指令に対する応答（ステップ応答）を重ねて表示した波形４１を示し、下段に複数の負方向へのステップ指令に対する応答（ステップ応答）を重ねて表示した波形４３を示す。より詳細には、図４の上段及び下段ともに、図３に示すような繰り返しのステップ指令３１について、１番目、５番目及び１０番目のステップ指令に対するステップ応答波形（それぞれ、細線、破線及び太線で示す）を、各ステップ指令の立ち上がり又は立ち下がりを時間０として重ねて示す。また、参考例として、理想的な応答波形４２、４４を点線で示す。図４を見ても、応答波形はほぼ重なっており、ステップ毎に応答性が改善される様子が見られない。

一方、一例として、本実施形態の制御系でのシミュレーション結果を図５及び図６に示す。図５は、本実施形態の制御系における繰り返しステップ応答波形である。図６は、本実施形態の制御系における繰り返しステップ応答波形の重ね合わせ比較図である。

制御対象２とフィードバック制御器１０の構成は、図２に示す比較例の制御対象１３０及びフィードバック制御器１２０とそれぞれ同じとした。また、ニューラルネットワーク制御器３０のニューラルネットワークは、中間層を２層、ノード数を１０と、ニューラルネットワーク制御器１１０の構成と同じとした。

図５の横軸は時間である。図５は、図３と同様に、上段に目標値（繰り返しステップ指令）５１に対する制御対象２の出力応答波形５２を示し、下段にフィードバック制御器１０の出力（ＦＢＡ）５３とニューラルネットワーク制御器３０の出力（ＮＮｏｕｔ）５４とを示す。

図６の横軸は時間である。図６は、図４と同様に、上段に複数の正方向へのステップ指令に対する応答（ステップ応答）を重ねて表示した波形６１～６３を示し、下段に複数の負方向へのステップ指令に対する応答（ステップ応答）を重ねて表示した波形６５～６７を示す。より詳細には、図６の上段及び下段ともに、図５に示すような繰り返しのステップ指令５１について、１番目のステップ指令に対するステップ応答波形６１及び６５、５番目のステップ指令に対するステップ応答波形６２及び６６、１０番目のステップ指令に対するステップ応答波形６３及び６７を、各ステップ指令の立ち上がりを時間０として重ねて示す。また、参考例として、理想的な応答波形（例えば、規範モデル部２０の出力）６４、６８を点線で示す。

ステップ応答の繰り返しにより、正方向及び負方向の応答ともに、目標値からの行き過ぎ量が低減し、整定時間も早くなり、規範モデルの出力に追従していることが確認できる。また、図５の下段より、ステップ応答を繰り返すことでニューラルネットワーク制御器３０の出力（ＮＮｏｕｔ）５４が増大するのが確認できる。これは、出力信号ｙが規範モデル出力に追従するようにニューラルネットワーク制御器３０の学習が行われていることを示している。

（その他）
上述の実施形態では、ニューラルネットワーク制御器３０はニューラルネットワークを用いて学習したが、ニューラルネットワーク以外の機能を用いて学習してもよい。すなわち、ニューラルネットワーク制御器３０は学習型制御器でもよい。また、制御装置１のうちフィードバック制御器１０を含まない構成を有する第２の制御装置を提供することもできる。例えば、予め設計された既存のフィードバック制御器を用いて制御対象を制御する制御系に、規範モデル部２０とニューラルネットワーク制御器３０を有する制御装置が適用して上述の制御系を構成してもよい。

上述の各構成及び処理は、処理部と記憶部を有するコンピュータで実現することも可能である。処理部は、各構成の処理を実行する。記憶部は、処理部が実行するプログラムを記憶する。上述の処理は、処理部が実行する制御方法としても実現可能である。また、処理部に上述の処理を実行させるための命令を含むプログラム又はプログラム媒体、該プログラムを記憶したコンピュータ読み取り可能な記録媒体及び非一時的な記録媒体等により実現可能である。

本実施形態の制御装置及び制御系は、例えば、むだ時間を有する制御対象を制御する制御系に適用可能である。一例として、プロセス制御系や温度調整系に適用可能である。より具体的な例としては、温調・空調システム、射出成型機及びホットプレートなどが挙げられる。

１制御装置
２制御対象
１０フィードバック制御器
２０規範モデル部
３０ニューラルネットワーク制御器
５１目標値（繰り返しステップ指令）
５２出力応答波形
５３フィードバック制御器の出力（ＦＢＡ）
５４ニューラルネットワーク制御器の出力（ＮＮｏｕｔ）

Claims

むだ時間要素を含む制御対象の出力と予め定められた目標値の差を入力し、該制御対象を制御する、Ｉ－ＰＤ制御器であるフィードバック制御器と、
むだ時間要素を含み、前記目標値を入力し、該入力に対する所望の応答波形を出力する規範モデル部と、
前記目標値と前記制御対象の出力とを入力し、出力が前記フィードバック制御器の出力と加算されて前記制御対象に入力される学習型制御器であって、前記規範モデル部の出力と前記制御対象の出力との誤差を教師信号として用い、前記学習型制御器からの出力の変化により前記制御対象の出力と前記規範モデル部の出力の誤差が最小化又は予め定められた閾値以下になるように、学習する前記学習型制御器と、
を備えた制御装置。
前記学習型制御器は、ニューラルネットワークを用いて学習するニューラルネットワーク制御器であり、
前記ニューラルネットワーク制御器は、前記制御対象の出力と前記規範モデル部の出力の誤差をニューラルネットワークの教師信号とし、前記誤差を最小化又は予め定められた閾値以下になるようにニューラルネットワークを用いて学習する請求項１に記載の制御装置。
前記規範モデル部のむだ時間は、前記制御対象のむだ時間と同じ又は同程度に設定される請求項１に記載の制御装置。
むだ時間要素を含む制御対象の出力と予め定められた目標値の差を入力するＩ－ＰＤ制御器であるフィードバック制御器を用いて前記制御対象を制御する制御系に適用される制御装置であって、
むだ時間要素を含み、前記目標値を入力し、該入力に対する所望の応答波形を出力する規範モデル部と、
前記目標値と前記制御対象の出力とを入力し、出力が前記フィードバック制御器の出力と加算されて前記制御対象に入力される学習型制御器であって、前記規範モデル部の出力と前記制御対象の出力との誤差を教師信号として用い、前記学習型制御器からの出力の変化により前記制御対象の出力と前記規範モデル部の出力の誤差が最小化又は予め定められた閾値以下になるように、学習する前記学習型制御器と、
を備えた制御装置。