JP5345551B2 - 計算機支援による技術システムの開ループ制御および／または閉ループ制御のための方法 - Google Patents

Description

本発明は、技術システムをコンピュータ支援により開ループ制御および／または閉ループ制御する方法と、相応するコンピュータプログラム製品に関する。
今日では、技術システムは高度な複雑さを有していることが多い。つまり、技術システムは多数の状態変数をもつ状態により記述される。ここで、状態変数とは特に、例えば圧力、温度、電力といった物理量のような測定可能な状態量のことである。複雑な技術システムを制御する場合、所定の基準を考慮しつつ技術システムの時間的な動特性を最適化する計算機支援による方法が使用されることが多い。このような方法の例が、先行技術から十分に知られている強化学習（Reinforcement Learning 文献［２］を参照されたい）などの学習法である。これらの方法は技術システム上で実行されるべき適切な行動を決定することにより技術システムの動特性を最適化する。なお、これらの行動は、例えばバルブ位置の変化、圧力の上昇などのような技術システム上の所定の操作量の変化を含む。各行動は、例えば費用関数を含めた報酬とペナルティとによって適切に評価され、これにより技術システムの最適な動特性を達成することができる。

技術システムの動特性を制御ないし最適化する上記の標準的な方法の問題点は、この種の方法は多数の状態変数をもつ（すなわち、高次元の状態空間内の）状態に対して限られた範囲内でしか使用できないということにある。

先行技術からは、状態空間を縮退させることのできるいわゆる「特徴選択」法が公知である。しかしながら、通常は、関連する状態変数を選択するだけで、すべての変数に基づいて状態空間の次元を低減させることは行われない。さらに、これらの方法は統計的であり、技術システムの動特性の明示的な考察や識別は行われない。
文献「Xianfeng Zhung et al.: "A novel approach for modeling cracking furnace severity", Intelligent Control and Automation, 2004, WCICA 2004, Fifth World Congress on Hang-zhou, China, 15-19 June 2004, Piscataway, NJ, USA, IEEE, US, vol. 1, 15. Juni 2004 (2004-06-15), pp.250-253, XP010729576, ISBN: 0-7803-8273-0」および文献「Min Han et al.: "Application of Neural Networks on Multivariate Time Series Modeling and Prediction", American Control Conference, 2006, Minneapolis, MN, USA, June 14-16, 2006, Piscataway, NJ, USA, IEEE, 14. Juni 2006 (2006-06-14), pp.3698-3703, XP010929375, ISBN: 1-4244-0209-3」には、時間的に順次連続する状態をモデル化するために、ＰＣＡ分析（ＰＣＡ＝主成分分析）をリカレントニューラルネットワークと組み合わせることが記載されている。
文献「zhou et al.: "Fault detection and classification in chemical processes based on neural networks with feature extraction", ISA Transactions, Instrument Society of America, Pittsburgh, US, vol. 42, No. 4, October 2003 (2003-10), pp.651-664, XP005835325, ISSN: 0019-0578」には、多項式フィッティングをニューラルネットワークに基づいた状態のモデル化と組み合わせることが記載されている。

それゆえ、本発明の課題は、状態空間を適切に縮退させた後にそれ自体公知の学習法および最適化法を使用することができるようにした、技術システムの計算機支援による開ループ制御および／または閉ループ制御のための方法を提供することである。

この課題は独立請求項により解決される。本発明の展開形態は従属請求項に記載されている。

本発明による方法は、複数の時点について、第１の状態空間内に複数の状態変数をもつそれぞれの状態により技術システムを特徴付けることに基づいている。第１の状態空間内の状態は、入力層、隠れリカレント層、および出力層を有するリカレントニューラルネットワークにより、既知の状態を訓練データとしてモデル化される。その際、
ｉ）前記複数の時点について、入力層と出力層がそれぞれ第１の状態空間内の状態により形成される。
ｉｉ）隠れリカレント層は、第２の次元を有する第２の状態空間内の複数の隠れ状態変数をもつ隠れ状態により形成される。ただし、第２の次元は第１の次元よりも低い。
最後に、技術システム上で行動が実施される際に、技術システムの開ループ制御および／または閉ループループ制御のための学習法および／または最適化法が実行される。この後、この学習法ないし最適化法は第２の状態空間内の隠れ状態を使用する。

第２の状態空間の次元は低くなっているので、元の第１の状態空間が高次元であるせいで使用できなかった学習法および／または最適化法が使用可能となる。それゆえ、本発明は、高度に複雑な技術システムに対してもそれ自体公知の学習法および／または最適化法を非常に柔軟に使用できるような方法を成している。また、本発明による方法は状態空間の次元縮小の効率的な方式である。この方法では、技術システムの同定の高品質を利用して、リカレントニューラルネットワークにより状態空間の次元が最小となるシステムの展開が模倣ないしモデル化される。類似した目標設定をもつ既存の方法と比べると、動特性の明確な同定およびモデル化が行われる。特に、リカレントニューラルネットワークの使用は非線形動特性のモデル化も可能にする。この方法はすでに発明者によりガスタービンの制御方法に投入され、成功を収めている。

本発明による方法は、特に、非線形の動特性を有する技術システムも開ループ制御ないし閉ループ制御することができるという利点を有している。さらに、本発明による方法では、非線形の活動化関数を有するリカレントニューラルネットワークを使用することもできる。

すでに上で述べたように、本発明によれば、リカレントニューラルネットワークを介して求められた縮退した状態空間内で公知の学習法および／または最適化法が使用される。これらの学習法および／または最適化法は、例えば、従来技術から十分に公知のすでに上で述べた強化学習法であってよい。

十分な予測品質を保ちつつ、状態空間の次元をできる限り低くするために、本発明の１つの実施形態では、リカレントニューラルネットワークにより求められた状態と訓練データの既知の状態の間の偏差が所定の閾値よりも小さい限り、第２の状態空間の第２の次元が縮小される。このようにして、公知の学習法のデータ効率的な適用を可能にする最小の状態空間が得られる。

本発明によるリカレントニューラルネットワークは、有利には、各時点における入力層内の技術システムの各状態が前記各時点における隠れ層の隠れ状態を介して前記各時点より後の時点における出力層内の技術システムの状態と結合されているように形成されている。ここで、リカレントネットワークは、有利には、将来の状態を考慮した動学的に整合的な時間的展開をもつネットワークである（英語では"Network with Dynamically Consistent Overshooting"と呼ばれる）。この種のネットワークでは、ネットワーク自身の予測が将来の未知の入力としてネットワーク内で使用される。
第１の状態空間の状態をリカレントニューラルネットワークによってモデル化するには、とりわけ逆伝播法を、特に文献［１］に記載された方法を使用することができる。

有利な実施形態では、状態空間の最小化に用いられるリカレントニューラルネットワークは以下の式によって表される。

ここでτの値域には、時点ｔより前の予め決められた個数ｍの時間ステップと、時点ｔより後の予め決められた個数ｎの時間ステップとが含まれており、
ｔ∈｛m,...,T−n｝、ここでＴは訓練データが存続する時点の個数であり、
ｘ_τは、時点τにおいてリカレントニューラルネットワークによって決定される技術システムの状態を表し、
ｘ_τ ^dは訓練データによる時点τにおける既知の状態を表し、
ｓ_τは、リカレントニューラルネットワークの隠れ層の時点τにおける隠れ状態を表しており、
Ａ，Ｂ，Ｃは求めようとする行列、またθは求めようとするバイアスである。
すでに上で述べたように、本発明は相応の状態により記述される任意の技術システムに対して使用することができる。１つの適用事例は、例えばタービン、とりわけガスタービンである。

本発明はさらに、上記方法の他に、コンピュータ上で走らせたときに本発明による方法を実行するプログラムコードをコンピュータ可読媒体に記憶させたコンピュータプログラム製品にも関している。

以下では、本発明の実施例を添付図面に基づき詳細に説明する。

本発明の実施形態において状態空間の次元縮小のために使用されるリカレントニューラルネットワークの概略図である。

本発明の以下に示す実施形態では、第１の状態空間の次元の低減がニューラルネットワークにより達成される。第１の状態空間は各時点ｔにおける技術システムの状態ｘ_tの状態変数の数により決まる次元によって特徴付けられる。したがって、状態ｘ_tは技術システムの状態変数を成分とする状態ベクトルである。状態変数の値は測定してもよい。技術システムが例えばガスタービンならば、状態変数はとりわけガス圧、ガス温度、燃焼室加速度等の量を含む。第１の状態空間の次元はたいてい高次元であり、公知の学習法にとっては大きすぎる場合が多い。それゆえ、本発明の課題は公知の学習法を使用できるように状態空間の次元を最小化することである。この課題は図１のリカレントニューラルネットワークを用いた以下に示す実施形態において解決される。

図１のネットワークは入力層Ｉを含んでいる。入力層Ｉは、観察時点ｔにおいて、相応する高次元の状態ｘ_tと過去の状態ｘ_t-1，ｘ_t-2，ｘ_t-3等から形成されている。入力層の状態は行列Ｂを介して隠れ層Ｈの隠れ状態およびバイアスθと結合されている。ただし、時点ｔにおける状態ｘ_tは隠れ層Ｈの同じ時点における相応する隠れ状態ｓ_tに対応している。第１の状態空間の縮小を達成するために、隠れ状態ｓ_ｔの状態空間の次元は第１の状態空間の次元よりも低い。なお、隠れ状態ｓ_ｔの状態空間は請求項では第２の状態空間と呼ばれている。隠れ層Ｈは、時点ｔにおける隠れ状態ｓ_tを行列Ａとバイアスθを介して後続の時点における状態ｓ_t+1と結合するリカレント層である。層Ｈの個々の隠れ状態ｓ_tは再び−入力層Ｉと同様に−技術システムの状態ｘ_tによって表される出力層Ｏと結合されている。各時点ｔにおける隠れ状態ｓ_tは行列Ｃを介して次の時点ｔ＋１における状態ｘ_t+1と結合されている。

図１に示されているリカレントニューラルネットワークは、技術システムの既知の状態を含む訓練データを用いて訓練される。したがって、相応する技術システムの時間的な動特性がこのネットワークによりモデル化される。図１によるリカレントネットワークは、将来の状態を考慮した動学的に整合的な時間的展開をもつネットワークであり、英語では"Network with Dynamically Consistent Overshooting"と呼ばれる。これは、ネットワーク内で時点ｔに過去の状態ｘ_t，ｘ_t-1，．．．等だけでなく、将来の状態ｘ_t+1，ｘ_t+2，．．．等も考慮されることを意味する。出力層におけるネットワークの固有の予測、すなわち、図１の状態ｘ_t+1，ｘ_t+2およびｘ_t+3は再びネットワークへの入力として使用される。図１では、これが出力層Ｏの状態を隠れ層Ｈの相応する状態と結合する破線によって示されている。それゆえ、図１によるリカレントニューラルネットワークでは、システム自体の状態ｘ_τが予測される。このようにして、基礎となる技術システムの動特性をモデル化することができる。数学的には、図１のネットワークは以下の式により表される。

これらの式は時点ｔにおけるリカレントニューラルネットワークに関係している。時点ｔには、時点τの値域が考慮される。τの値域は時点ｔより前の所定数ｍの時間ステップと時点ｔより後の所定数ｎの時点（いわゆるオーバーシュート部分）とを含んでいる。
ここで、ｔ∈｛m,...,T-n｝が成り立つ。
ただし、Ｔは訓練データが存続する時点の個数、すなわち、技術システムの既知の状態が存続する時点の個数を表している。

上記の式によれば、ニューラルネットワークのパラメータとして、行列Ａ，Ｂ，Ｃおよびバイアスθが求められる。なお、これらのパラメータは、ネットワークによって求められた状態ｘ_τと相応する既知の状態ｘ_τ ^dとの間の平方誤差が訓練データに従って最小となるように選択されている。
技術システムをリカレントニューラルネットワークによってモデル化した後、技術システム上で行動を実施する際に技術システムを開ループ制御および／または閉ループ制御するために、このモデル化から得られた隠れ層の状態ｓ_tに対して相応の学習法および／または最適化法が適用される。隠れ層Ｈ内の状態の次元は第１の状態空間の次元よりも低いので、元の第１の状態空間の次元が大きいために適用できなかった学習法が適用可能になる。それゆえ、本発明の方法によれば、公知の複数の学習法または最適化法を技術システムの動特性のモデル化に使用できるように、状態空間を効率的に縮退させることができる。有利な実施形態では、第１の状態空間の状態をリカレントニューラルネットワークを用いてモデル化する際、リカレントニューラルネットワークにより求められた状態と訓練データの既知の状態の間の偏差が所定の閾値よりも小さい限り、隠れ状態の次元が漸次縮小される。こうして、状態空間の次元を可能な限り縮小することができる。

学習法ないし最適化法としては、例えば従来技術から公知の強化学習法（いわゆるReinforcement Learning）を使用することができる。これらの学習法によれば、報酬ないしペナルティを考慮して技術システム上で実行されるべき行動を学習することができ、それにより技術システムの動特性の最適化が可能になる。

文献一覧
[l] D.E. Rumelhart, G.E. Hinton, and R.J. Williams, "Learn-ing internal representations by error propagation", in Parallel Distributed Processinq: Exploratlons In The Microstruckure of Cognikion, D.E. Rumelhart and J.L.M. et al., Eds. Cambridge: MIT Press, 1986, vol. l, pp. 318-362
[2] Leslie Pack Kaelbling; Michael L. Littman; Andrew W. Moore, Reinforcement Learning: A Survey, Journal of Ar-tificial Intelligence Research 4 (1996) pp. 237-285

Claims (11)

1. 技術システムの計算機支援による開ループ制御および／または閉ループ制御のための方法において、
   ａ）複数の時点（ｔ）について、前記技術システムを、第１の次元を有する第１の状態空間内の複数の状態変数をもつ状態（ｘ_t）によって表し、
   ｂ）前記第１の状態空間の状態（ｘ_t）を、入力層（Ｉ）、隠れリカレント層（Ｈ）、および出力層（Ｏ）を有するリカレントニューラルネットワークにより、既知の状態を訓練データとして用いてモデル化し、その際、
   ｉ）前記複数の時点（ｔ）について、前記入力層（Ｉ）と前記出力層（Ｏ）をそれぞれ前記第１の状態空間内の状態（ｘ_t）により形成し、
   ｉｉ）前記隠れリカレント層（Ｈ）を、第２の次元を有する第２の状態空間内の複数の隠れ状態変数をもつ隠れ状態（ｓ_t）により形成し、ただし、第２の次元は第１の次元よりも低く、
   ｃ）前記第２の状態空間内の隠れ状態（ｓ_t）に対して、前記技術システム上で行動を実施することにより前記技術システムの開ループ制御および／または閉ループ制御のための学習法および／または最適化法を実行する、ことを特徴とする技術システムの計算機支援による開ループ制御および／または閉ループ制御のための方法。
2. 前記技術システムは非線形動特性を有している、請求項１記載の方法。
3. 前記ステップｂ）において、前記リカレントニューラルネットワークは非線形活動化関数を使用する、請求項１または２記載の方法。
4. 前記学習法および／または最適化法は強化学習法である、請求項１から３のいずれか１項記載の方法。
5. 前記ステップｂ）において、前記リカレントニューラルネットワークにより求められた状態（ｘ_t）と前記訓練データの既知の状態（ｘ_t）の間の偏差が所定の閾値よりも小さい限り、前記第２の状態空間の第２の次元を漸次縮小する、請求項１から４のいずれか１項記載の方法。
6. 各時点（ｔ）における前記入力層（Ｉ）内の前記技術システムの各状態（ｘ_t）は、前記各時点（ｔ）における前記隠れ層（Ｈ）の隠れ状態（ｓ_t）を介して前記各時点（５）より後の時点（ｔ＋１）における前記出力層（Ｏ）内の前記技術システムの状態（ｘ_t）と結合されている、請求項１から５のいずれか１項記載の方法。
7. 前記リカレントニューラルネットワークは将来の状態（ｘ_t）を考慮した動学的に整合的な時間的展開をもつネットワークである、請求項１から６のいずれか１項記載の方法。
8. 前記リカレントニューラルネットワークによって前記第１の状態空間の状態（ｘ_t）をモデル化するために、逆伝搬法を用いる、請求項１から７のいずれか１項記載の方法。
9. 前記リカレントニューラルネットワークは以下の式で表される、
   

   

   ただしτの値域には、時点ｔより前の予め決められた個数ｍの時間ステップと、時点ｔより後の予め決められた個数ｎの時間ステップとが含まれており、
   ｔ∈｛m，…，T−n｝、ここでＴは訓練データが存続する時点の個数であり、
   ｘ_τは、時点τにおいて前記リカレントニューラルネットワークによって決定される前記技術システムの状態を表し、
   ｘ_τ ^dは、前記訓練データによる時点τにおける既知の状態を表し、
   ｓ_τは、前記リカレントニューラルネットワークの隠れ層の時点τにおける隠れ状態を表しており、
   Ａ，Ｂ，Ｃは求めようとする行列、θは求めようとするバイアスである、請求項１から８のいずれか１項記載の方法。
10. 前記技術システムはタービン、とりわけガスタービンである、請求項１から９のいずれか１項記載の方法。
11. 計算機上で実行したときに請求項１から１０のいずれか１項記載の方法を実行する、機械可読媒体上に記憶されたプログラムコードを有するコンピュータプログラム。

Images