WO2007102269A1

WO2007102269A1 - プラントの制御装置と制御方法及び火力発電プラントとその制御方法

Info

Publication number: WO2007102269A1
Application number: PCT/JP2006/326111
Authority: WO
Inventors: Takaaki Sekiai; Satoru Shimizu; Akihiro Yamada
Original assignee: Hitachi, Ltd.
Priority date: 2006-03-08
Filing date: 2006-12-27
Publication date: 2007-09-13
Also published as: CN101379447A; US8185216B2; US20090099667A1; JP2007241624A; CN101379447B; JP4573783B2

Abstract

制御対象の特性を模擬するモデルを用いて、モデル出力目標値を達成するモデル入力の生成方法を学習し、学習結果に従って操作信号を生成する制御装置において、制御対象の計測信号が運転目標値を達成するためのモデル出力目標値を決定する制御装置を提供する。制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、モデル出力が目標値を達成するようにモデル入力の生成方法を学習する機能と、学習の結果に従って制御対象に与える操作信号を決定する機能と、予め設定された計測信号の制限値を保存するデータベースと、制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と計測信号の制限値を用いてモデル出力目標値の初期値を決定する機能を備える。

Description

明細書

プラントの制御装置と制御方法及び火力発電プラントとその制御方法技術分野

[0001] 本発明は、プラントの制御装置と制御方法に関する。また、火力発電プラントとその制御方法に関する。

背景技術

[0002] プラントの制御装置では、制御対象であるプラントから得られる計測信号を処理して、制御対象に与える操作信号を算出する。制御装置には、プラント計測信号が運転目標を達成するように、操作信号を計算するアルゴリズムが実装されてヽる。

[0003] プラントの制御に用いられて、る制御アルゴリズムとしては、 PI (比例'積分)制御ァルゴリズムがある。このアルゴリズムは、運転目標値と計測信号の偏差に比例ゲインを乗じた値に、偏差を時間積分した値を加算することによって、操作信号を導出する。また、学習アルゴリズムを用いて、プラントの操作信号を導出することも知られている

[0004] 一方、近年、教師なし学習の分野で、強化学習と呼ばれる手法がある。強化学習は、制御対象との試行錯誤的な相互作用を通じて、制御対象から得られる計測信号が望ましいものとなるように、制御対象に与える操作信号の生成方法を学習する学習制御の枠組みとして知られて!/、る。

[0005] 強化学習では、制御対象力も得られる信号を用いて計算されるスカラー量の評価値 (強化学習では、報酬と呼ばれている）を手力かりに、現状態力も将来までに得られる評価値の期待値が最大となるように、操作信号の生成方法を学習する。

[0006] 非特許文献 1には、計測信号が運転目標値を達成した場合に正の評価値を与え、 Actor-Critic, Q学習、実時間 Dynamic Programmingなどのアルゴリズムを用いて、操作信号の生成方法を学習する手法が記載されている。また、その手法を発展させた方式として、 Dyna—アーキテクチャと呼ばれる枠組みが紹介されている。この枠組みでは、制御装置内に制御対象を模擬するモデルを持つ。モデルは、制御対象に与える操作信号をモデル入力として取り込み、制御対象の計測信号の予測値であるモデル出力を算出する。このモデルは物理式や統計的手法を用いて構築する。また、モデル出力を用いて計算される評価値を手がかりに、モデル入力の生成方法を学習する。

[0007] Dyna—アーキテクチャでは、モデル出力目標値を達成するようにモデル入力の生成方法を予め学習しておき、この学習結果に従って制御対象に印加する操作信号を決定する。

[0008] 非特許文献 1：「強化学習」 (Reinforcement Learning)、三上貞芳 '皆川雅章共訳、森北出版株式会社、 2000年 12月 20日出版、第 142〜172頁、第 247〜253頁発明の開示

発明が解決しょうとする課題

[0009] 前述のプラントの制御装置を設計する際には、運転目標値及びモデル出力目標値を適切に設定する必要がある。特に、モデル出力目標値を決定する際には、以下に述べる課題を解決する必要がある。

[0010] 前述のモデル出力が、制御対象計測信号の平均値となる場合がある。仮に、運転目標値とモデル出力目標値を同じ値に設定してしまうと、このモデル出力目標値を達成するモデル入力に従って生成した操作信号を制御対象に与えても、計測信号が運転目標を達成できな、可能性がある。操作信号が一定の条件で制御対象を運転し、この時に得られる計測信号が変動するような場合には、計測信号の平均値が運転目標値以下であっても、ある時間帯では運転目標値を超えてしまう可能性がある。この場合、モデル出力が運転目標値を達成していても、計測信号は運転目標を達成していない。従って、計測信号が運転目標値を達成するためには、計測信号の変動幅を考慮してモデル出力目標値を決定する必要がある。

[0011] 本発明の目的は、上述の課題を解決可能な運転目標値を計算する機能を備えたプラントの制御装置及び制御方法を提供することにある。

課題を解決するための手段

[0012] 本発明は、制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置にお、て、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値を決定するモデル出力目標値決定手段と、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段を用いて、モデル出力目標値を達成するモデル入力の生成方法を学習した結果が保存されているデーベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置にある。

発明の効果

[0013] 本発明の制御装置は、プラントの計測信号と、予め設定された計測信号の制限値を用いてモデル出力目標値を決定する機能を備えている。この機能を用いることにより、計測信号を処理し、計測信号の平均値，最大値，最小値を導出できる。

[0014] 計測信号が変動する場合には、計測信号の制限値から、計測信号の最大値から平均値を減算した値の絶対値を減算した値をモデル出力目標値とすることができる。

[0015] このモデル出力目標値を達成するモデル入力の生成方法に従って、制御対象であるプラントに与える操作信号を決定すれば、モデル出力目標値と計測信号の平均値が一致する。その結果、計測信号が変動しても、計測信号がその制限値を超えることはない。

[0016] 従って、計測信号が変動する場合でも、本発明のプラントの制御装置による操作信号をプラントに与えれば、計測信号が制限値を逸脱することを抑制できる。

発明を実施するための最良の形態

[0017] 本発明では、更に以下の実施態様を提案する。

[0018] (1) 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であつて、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも 1つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。

[0019] (2) 前記（1)に記載されたプラントの制御装置において、前記モデル出力目標値を決定する機能は、計測信号の最大値力も平均値を減算した値の絶対値を、計測信号の制限値力減算して決定するものであることを特徴とするプラントの制御装置。

[0020] (3) 前記（1)に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。

[0021] (4) 前記（1)に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置

[0022] (5) 制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、

前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段と、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値の初期値を決定するモデル出力目標値決定手段と、モデル出力目標値を増加或いは減少するモデル目標値変更手段を用いて、はじめにモデル出力目標値の初期値を達成するようにモデル入力の生成方法を学習し、次いで変更後のモデル出力目標値を達成するようにモデル入力の生成方法を学習した学習結果が保存されて、るデータベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置。

[0023] (6) 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であつて、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも 1つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、前記初期値及び変更後のモデル出力目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。

[0024] (7) 前記（6)に記載されたプラントの制御装置にお、て、モデル出力目標値の初期値を決定する機能は、計測信号の最大値力平均値を減算した値の絶対値を計測信号の制限値力減算して決定するものであることを特徴とするプラントの制御装置。

[0025] (8) 前記（6)に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。

[0026] (9) 前記 (6)に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置

[0027] (10) 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、

前記モデルの予測結果であるモデル出力力モデル出力目標値を達成するように、前記モデルに与えるモデル入力の生成方法を学習する学習機能と、

前記学習の結果に従って制御対象に与える操作信号を決定する機能と、予め設定された計測信号の制限値を保存するデータベースと、

前記制御対象の計測信号を取り込む外部入力インターフイスと、

取り込んだ計測信号の値を保存する計測信号データベースと、

前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも 1つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能を備え、

前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の 1つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の 1つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸ィヒ濃度と窒素酸ィヒ物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンバ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。

(11) 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、

取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも 1つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、

前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、

前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の 1つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の 1つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸ィヒ濃度と窒素酸ィヒ物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合には、前記モデル出力目標値を減少或いは増加する機能にぉ、て窒素酸ィ匕物のモデル出力目標値を減少或いは増力 []させた修正モデル出力目標値を決定し、前記学習機能にて前記修正モデル出力目標値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンバ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。

(12) 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従つて制御対象に与える操作信号を決定する制御方法にぉヽて、

前記制御対象の計測信号の平均値，最大値，最小値の少なくとも 1つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値を決定し、この目標値を達成するようにモデル入力の生成方法を学習することを特徴とするプラントの制御方法。 [0030] (13) 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従つて制御対象に与える操作信号を決定する制御方法にぉヽて、

前記制御対象の計測信号の平均値，最大値，最小値の少なくとも 1つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値の初期値を決定し、この初期値を達成するようにモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加し、更にその変更された目標値を達成するようにモデルの生成方法を学習することを特徴とするプラントの制御方法。

[0031] (14) 前記（12)に記載されたプラントの制御方法において、前記モデル出力目標値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値力減算して算出することを特徴とするプラントの制御方法。

[0032] (15) 前記（13)に記載されたプラントの制御方法において、前記モデル出力目標値の初期値は、計測信号の最大値力平均値を減算した値の絶対値を、計測信号の制限値力減算して算出することを特徴とするプラントの制御方法。

[0033] (16) 前記（12)に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。

[0034] (17) 前記（13)に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。

[0035] (18) 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、

前記計測信号のうち、一酸ィ匕炭素と窒素酸ィ匕物の少なくとも 1つの環境規制値を制限値として設定し、

前記制限値が設定された計測信号の平均値，最大値，最小値の少なくとも 1つの値と、前記制限値を用いて前記モデル出力目標値の初期値を決定し、

この初期値を達成するようにモデル入力の生成方法を学習し、この学習結果に従つて少なくとも空気ダンバ開度の操作信号を生成することを特徴とする火力発電ブラントの制御方法。

[0036] 本発明は、計測信号の平均値，最大値，最小値の少なくとも 1つを計算した結果と、前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備えることを特徴とする第一の発明と、前記第一の発明によって初期値を決定し、モデル出力がモデル出力目標値の初期値を達成した場合に、モデル出力目標値を減少あるいは増加する機能を備えた第二の発明に大別される。

[0037] 第一の発明では、計測信号が変動する場合に、変動幅を考慮して、計測信号の制限値より小さな値にモデル出力目標値を修正することが可能であり、常に計測信号が制限値を達成できる。

[0038] プラントによっては、ある特定の計測信号の値を、可能な限り 0に近づけることが運転目標である場合がある。仮に、モデル出力目標値を 0に設定し、この値が達成不可能な値である場合には、第一の発明では、モデル入力の生成方法を学習できない事態が発生する。このような事象を回避し、適したモデル入力の生成方法を学習するには、モデル出力目標値の設定方法に工夫が必要である。

[0039] 第二の発明では、可能な限り 0に近づけることが運転目標である計測信号に関して、そのモデル出力目標値の初期値はある程度大きな値であり、その値は除々に 0に近づくことになる。従って、モデル出力目標値を達成するモデル入力の生成方法を学習できな、と、う事態が発生することはな、。

[0040] 以下、最良の実施形態による制御装置について、図面を参照しながら説明する。

但し、本発明は以下の実施形態に限定されるものでは無い。

[0041] 図 1は、本実施形態に係る制御システムを、制御対象 100に適用した例のブロック図である。制御対象 100を制御する制御システムは、制御装置 200、入力装置 900 、保守ツール 910、画像表示装置 950とで構成される。制御装置 200は、外部入力インターフェイス 210を介して、制御対象 100からの計測信号 1を取り込む。また、制御装置 200では、外部出力インターフェイス 220を介して、制御対象 100に操作信号 16を送信する。

[0042] 外部入力インターフェイス 210で取り込んだ計測信号 2は、操作信号生成部 300に伝送されると共に、計測信号データベース 230に保存される。また、操作信号生成部 300にて生成する操作信号 15は、外部出力インターフェイス 220に伝送されると共に、操作信号データベース 240に保存される。

[0043] 操作信号生成部 300では、学習情報データベース 280に保存されている学習情報 9と、制御ロジックデータベース 250に保存されている制御ロジック情報 6を用いて、制御対象 100からの計測信号 1が運転目標値を達成するように操作信号 15を生成する。

[0044] 学習情報データベース 280に保存される情報は、学習部 400で生成される。学習部 400は、モデル 500及び評価値計算部 600と接続される。

[0045] モデル 500は、制御対象 100の特性を模擬する機能を持つ。すなわち、操作信号 16を制御対象 100に与え、その結果、計測信号 1を得るのと同じように、モデル 500 を動作させるためのモデル入力 12をモデル 500に与え、その結果としてモデル出力 13を得る。モデル出力 13は、計測信号 1の予測値である。このモデル 500は、制御対象 100の特性を模擬するものであり、物理法則に基づくモデル式、あるいは統計的手法を用いて、モデル入力 12に対するモデル出力 13を計算する機能を持つ。

[0046] 評価値計算部 600は、評価値計算パラメータデータベース 270に保存されている評価値計算パラメータ 8とモデル出力 13を用いて、評価値 14を生成する機能を持つ。評価値計算パラメータデータベース 270に保存されている情報の一部に、モデル出力 13の目標値がある。このモデル出力目標値は、第 1の目標値設定部 700及び第 2の目標値設定部 800で生成される。

[0047] 第 1の目標値設定部 700は、計測信号データベース 230に保存されている計測信号 3と、評価値計算パラメータデータベース 270に保存されている制限値信号 17を用いて、第 1の目標値信号 4を生成する。また、第 2の目標値設定部 800は、計測信号データベース 230に保存されている計測信号 3と、評価値計算パラメータデータべース 270に保存されている前回目標値信号 18と、モデル出力 13を用いて、第 2の目標値信号 5を生成する。

[0048] 学習部 400は、学習情報データベース 280に保存されている前回学習情報 11と、学習パラメータデータベース 260に保存されて!、る学習パラメータ 7と、モデル出力 1 3を用いて、モデル入力 12を生成する。モデル 500で計算されたモデル出力 13を用いて、評価値計算部 600で計算した評価値 14が学習部 400に入力される。学習部 4 00では、評価値 14を用いて学習情報を更新し、更新学習情報 10を学習情報データベース 280に送信する。

[0049] 制御対象 100であるプラントの運転員は、キーボード 901とマウス 902で構成される入力装置 900と、画像表示装置 950に接続されている保守ツール 910を用いることにより、制御装置 200に備えられている種々のデータベースに保存されている情報にアクセスすることができる。

[0050] 保守ツール 910は、外部入力インターフェイス 920と、データ送受信処理部 930及び外部出力インターフェイス 940で構成される。

[0051] 入力装置 900で生成した入力信号 31は、外部入力インターフェイス 920を介して保守ツール 910に取り込まれる。データ送受信処理部 930では、入力信号 32の情報に従って、制御装置 200に備えられているデータベース情報 30を取得する。また、データ送受信処理部 930では、データベース情報 30を処理した結果得られる出力信号 33を、外部出力インターフェイス 940に送信する。出力信号 34は、画像表示装置 950に表示される。

[0052] 尚、本実施形態ではデータベースが全て制御装置 200の内部に配置されているが、これらを制御装置 200の外部に配置することもできる。また、本実施形態では操作信号 16を生成するための信号処理機能が全て制御装置 200の内部に配置されている力これらを制御装置 200の外部に配置してもよい。

[0053] 以下では、本発明の制御システムを火力発電プラントに適用した場合を例にとり、データベースに保存されている情報、及び信号処理機能について説明する。

[0054] 図 2は、火力発電プラントを説明する図である。まず、火力発電プラントにおける発電の仕組みについて説明する。ボイラ 101には、バーナー 102を介して燃料となる石炭 (微粉炭)と石炭搬送用の 1次空気、及び燃焼調整用の 2次空気が供給される。石炭と 1次空気は配管 134から、 2次空気は配管 141から導かれる。また、 2段燃焼用のァフタエアを、ァフタエアポート 103を介してボイラ 101に投入する。このァフタエアは、配管 142から導かれる。

[0055] 石炭の燃焼により発生した高温のガスは、ボイラ 101の経路に沿って流れた後、ェァーヒーター 104を通過する。その後、排ガス処理した後、煙突を介して大気に放出される。

[0056] ボイラ 101を循環する給水は、給水ポンプ 105を介してボイラ 101に導かれ、熱交換器 106においてガスにより過熱され、高温高圧の蒸気となる。尚、本実施形態では熱交翻の数を 1つとしているが、熱交翻を複数個配置してもよい。

[0057] 熱交換器 106を通過した高温高圧の蒸気は、タービンガバナ 107を介して蒸気タ一ビン 108に導かれる。蒸気の持つエネルギーによって蒸気タービン 108を駆動し、発電機 109で発電する。

[0058] 火力発電プラントには、様々な計測器が配置されており、この計測器力取得された情報は、計測信号 1として制御装置 200に伝送される。例えば、図 2には、流量計測器 150、温度計測器 151、圧力計測器 152、発電出力計測器 153、及び濃度計測器 154が図示されている。流量計測器 150では、給水ポンプ 105からボイラ 101に供給される給水の流量を計測する。また、温度計測器 151及び圧力計測器 152では、蒸気タービン 108に供給される蒸気の温度や圧力を計測する。発電機 109で発電された電力量は、発電出力計測器 153で計測する。ボイラ 101を通過中のガスに含まれている成分 (CO、 NOxなど）の濃度に関する情報は、濃度計測器 154で計測することができる。尚、一般的には、図 2に図示した以外にも、多数の計測器が火力発電プラントに配置されて、るが、図 2では省略して!/、る。

[0059] 次に、バーナー 102から投入される 1次空気と 2次空気、及びァフタエアポート 103 力投入されるァフタエアの経路にっ、て説明する。

[0060] 1次空気は、ファン 120から配管 130に導かれ、途中でエアーヒーター 104を通過する配管 132と通過しない配管 131に分岐し、再び配管 133にて合流し、ミル 110に導かれる。エアーヒーター 104を通過する空気は、ガスにより過熱される。この 1次空気を用いて、ミル 110にお、て生成する微粉炭をバーナー 102に搬送する。

[0061] 2次空気及びァフタエアは、ファン 121から配管 140に導かれ、エアーヒーター 104 で過熱された後、 2次空気用の配管 141と、ァフタエア用の配管 142とに分岐し、それぞれバーナー 102とァフタエアポート 103に導かれる。

[0062] 図 3は、 1次空気と 2次空気及びァフタエアが通過する配管部、並びにエアーヒータ一 104の拡大図である。図 3に示すように、配管には空気ダンバ 160、 161、 162、 1 63が配置されている。空気ダンバを操作することにより、配管における空気が通過する面積を変更することできるので、空気ダンバの操作によって配管を通過する空気流量を調整できる。

[0063] 制御装置 200で生成される操作信号 16を用いて、給水ポンプ 105、ミル 110、空気ダンバ 160、 161、 162、 163などの機器を操作する。

[0064] 次に、計測信号データベース 230、及び操作信号データベース 240に保存する情報について説明する。図 4及び図 5は、それぞれ計測信号データベース 230及び操作信号データベース 240に保存されている情報の態様を説明する図である。

[0065] 図 4に示すように、計測信号データベース 230には、制御対象 100で計測した情報力計測器毎に各計測時刻と共に保存される。例えば、図 2における流量計測器 15 0、温度計測器 151、圧力計測器 152、発電出力計測器 153、濃度計測器 154で計測した流量値 F 、温度値 T 、圧力値 P 、発電出力値 E 、排ガスに含まれる N

150 151 152 153

Ox濃度 D 1S 時間の情報と共に保存される。尚、図 4では 1秒周期でデータを保

154

存しているが、データ収集のサンプリング周期は任意に設定することが可能である。また、操作信号データベース 240に保存される情報も同様に、図 5に示すように給水流量の指令信号などの操作信号が、時間の情報と共に保存される。

[0066] 次に、学習部 400、モデル 500、評価値計算部 600の動作について説明する。

[0067] 学習部 400は、制御対象 100の特性を模擬するモデル 500を対象に、モデル出力 13がモデル出力目標値を達成するように、モデル入力 12の生成方法を学習する。学習部 400では、モデル出力 13を入力とした評価値計算部 600の出力である評価値 14を用いて、この学習を実行する。

[0068] このような学習を実行するアルゴリズムとして、非特許文献 1に記載されて、る強化学習理論がある。強化学習とは、評価値 (報酬)情報を手がかりに、学習部 400とモデル 500との相互作用を通して、モデル出力目標値を達成するためのモデル入力 1 2の生成方法を学習することである。強化学習を適用することにより、現時刻から将来にわたつて得られる評価値の期待値が最大となるようなモデル入力 12の生成方法を学習することが可能である。

[0069] 本実施例では、強化学習アルゴリズムとして、アクタークリティック法を適用した例について述べる。尚、本発明の制御装置 200における学習方法としては、強化学習法以外に、遺伝的アルゴリズム或いは線形'非線形計画法などの最適化技術を適用することが可能である。

[0070] 図 6は、アクタークリティック法の概要を説明する図である。図 6のように、アクタークリティック法では、モデル入力 12を生成する制御器 450と、状態の価値を評価する評価器 460を備える。評価器 460では、モデル出力 13に基づいて状態価値を計算し、評価値計算部 600の出力信号である評価値 14を取得し、（1)式を用いて TD誤差信号 470を計算する。

[0071] [数 1]

d = r + YV(s_t^ } - V\ . . . ( l )

[0072] ここで、 δは TD誤差、 γは割引率、 V (s)は状態 sの価値である。

[0073] 評価器 460から、制御器 450に、（1)式で計算された TD誤差信号 470が伝送される。

[0074] 図 7及び図 8は、アクタークリティック法のフローチャートを説明する図である。尚、本フローチャートの実行に必要な設計パラメータ (例えば割引率 γ )は学習パラメータデータベース 260、評価値計算パラメータデータベース 270、及び学習情報データベース 280に保存されて!、る。これらのデータベースに保存されて!、る情報の形態、及び設計パラメータをデータベースに登録する方法については後述する。

[0075] 図 7に示すように、ステップ 301では制御のサンプリング周期 Tを取得する。次に、ステツプ 302では 1エピソード学習を実行する。このステップ 302において、学習部 400 、モデル 500、及び評価値計算部 600が動作し、前述の強化学習アルゴリズムを実行する。ステップ 303では学習終了判定を実行する。これは、制御のサンプリング周期以下で学習を終了させるために設けられたステップであり、学習実行時間が丁より小さい間はステップ 302に戻り、 Tを超えたら学習を終了する。図 7のフローチャートは制御対象 100を制御している間繰り返し実施される。

[0076] 図 8は、図 7におけるステップ 302の 1エピソード学習実行時の動作を説明するフロ一チャートである。

[0077] まずステップ 401においてモデル入力の初期値をランダムに設定する。次にステツプ 402でステップ 401にて生成したモデノレ入力 12をモデノレ 500に入力し、モデル出力 13を得る。

[0078] ステップ 403では、評価値計算部 600にお、て、モデル出力 13と評価値計算パラメータデータベース 270に保存されているモデル出力の目標値とを比較し、モデル出力 13がモデル出力目標値を達成していればエピソードを終了し、達成していない場合はステップ 404に進む。

[0079] ステップ 404では学習部 400において、学習情報データベース 280に保存されている情報を用いて、モデル入力変更幅 Δ aを決定する。 Δ aの決定方法は後述する。

[0080] ステップ 405では、（2)式を用いてモデル入力 12を決定する。

[0081] [数 2]

a(t + 1) = a(t) + · * · 、 2 )

[0082] ステップ 406では、ステップ 405で決定したモデル入力 12をモデル 500に入力し、モデル出力 13を得る。

[0083] ステップ 407では、ステップ 406で得たモデル出力 13を用いて、評価値計算部 60 0において評価値信号 14を計算する。 [0084] ステップ 408では、学習情報データベース 280に保存されている情報と、（1)式を用いて TD誤差を計算する。

[0085] ステップ 409では、ステップ 408で計算した TD誤差を用いて制御器 450のパラメ一タを更新し、その更新した結果を学習情報データベース 280に保存する。

[0086] ステップ 410では、ステップ 408で計算した TD誤差を用いて評価器 460のパラメ一タを更新し、その更新した結果を学習情報データベース 280に保存する。

[0087] ステップ 411では、ステップ 403と同様の方法で終了判定を実施する。

[0088] 以下では、制御器 450において正規乱数を用いてモデル入力 12を生成し、評価器 460にお、てタイルコーディング法を用いて状態価値を計算する場合につ!ヽて述ベる。尚、本実施例で用いた方法以外の手法を用いて、制御器 450及び評価器 46

0を構成してもよい。

[0089] 評価器 460では、タイルコーディングを用いて状態を分割する。図 9は、タイルコーディング法を説明する図である。タイルコーディングは、入力空間を分割し、どの領域に属するかを判別することによって、連続的な状態を離散的な状態として認識する手法である。 1つ 1つの領域は、タイルと呼ばれる。

[0090] 例えば、モデル 500への入力信号 12が入力信号 Aと入力信号 Bの 2次元であり、入力信号 Aが 0と 1の間、入力信号 Bが 1と 2の間にある場合は、図 9における状態番号 1のタイルに属する。学習情報データベース 280には、図 10に示すような形態で、状態番号と価値関数とが対応した情報が保存されている。評価器 460では、モデル出力 13が得られた時の入力信号 12の値と、学習情報データベース 280に保存されている情報を用いて、状態の価値を計算する。

[0091] また、評価器 460では、 TD誤差 δ を用いて、状態価値を（3)式に従って更新する。ここで、 j8 は学習率である。

[0092] [数 3]

J + · · · ( 3 )

[0093] 図 11は、ステップ 404においてモデル入力変化幅を計算する方法と、ステップ 409 において制御器パラメータの更新方法を説明する図である。

[0094] 図 11に示した正規分布は、正規分布の中心と標準偏差の 2つのパラメータを用いて発生させる。ここで、横軸はモデル入力変化幅であり、縦軸は発生確率である。従つて、モデル入力変化幅は正規乱数分布に従って決定される。

[0095] 次に、制御器 450のパラメータの更新方法を説明する。

[0096] まず、ある状態において、図 11 (a)に示した乱数を発生させ、その乱数値に基づいてモデル入力を修正した結果、 TD誤差が正であったとする。これは、このモデル入力を実行したことによって、予期していたよりもよい評価値が得られたことを意味する

。そこで、次に同じ状態に到達したとき、この乱数値が選択される確率が大きくなるように、パラメータを更新する。具体的には、図 11 (b)に示すように中心をプラスの方向にシフトし、また、発生した乱数は標準偏差よりも内側であったので、標準偏差の値力、さくなるように更新する。

[0097] 正規分布の中心 c (St)及び標準偏差 σ (St)は、それぞれ (4)式、及び (5)式に従つて更新する。ここで、 β

2及び j8

3は学習率である。

[0098] [数 4]

c(s_t ) *- c(s_t ) + β₂0₍ {a_t - φ, )) · · · ( 4 )

[0099] [数 5]

[0100] 図 12は、学習情報データベース 280に保存されている情報であり、これは制御器 4 50に関する情報である。前述のように、図 11の正規分布を発生させるためには中心と分散の 2つのパラメータが必要であり、このパラメータは状態番号毎に与えられる。このパラメータ値が、状態番号と対応づけられ、図 12のような態様で学習情報データベース 280に保存する。

[0101] 図 13は、学習パラメータデータベース 260に保存されている情報の態様を説明する図である。図 13に示すように、図 8のフローチャートにおけるステップ 409、ステップ 410を実行するのに必要な学習率などのパラメータが保存される。

[0102] ステップ 407では、評価値計算パラメータデータベース 260とモデル出力 13を用いて評価値 14を生成する。

[0103] 強化学習では、評価値 14の期待値が最大となるように、モデル入力 12の生成方法を学習するので、モデル出力 13がモデル出力目標値を達成した場合に、評価値 14 の値が大きくなることが望ま U、。

[0104] このような評価値 14の生成方法として、モデル出力 13が、モデル出力目標値を達成した場合に正の値、例えば「1」を評価値とする方法がある。また、モデル出力目標値を達成していない場合、モデル出力目標値とモデル出力 13の誤差に反比例するような関数を用いて、評価値 14を計算する方法がある。さらに、これらの方法を組み合わせて評価値 14を計算する方法も考えられる。

[0105] 評価値計算パラメータデータベース 270には、モデル出力 13の目標値に関する情報が保存されている。

[0106] 図 14は、評価値計算パラメータデータベース 270に保存されている情報の態様を説明する図である。図 14のように、計測信号 1の制限値、要求及びモデル出力 13の制御目標値が保存されている。制限値、要求は、制御対象 100の運転員が設定するものであり、この設定方法については後述する。制限値は、計測信号 1の制限値であり、制御対象 100から得られる計測信号 1が超えてはならない値である。図 14に記載されている要求とは、この制限値の持つ属性であり、計測信号 1が制限値以下となることが目標であるか、あるいは、計測信号 1が制限値以下であり、さらに、可能な限り小さな値とすることを目標とする力等を定義する属性である。最後に、図 14に記載されている目標値とは、あるモデル入力 12を設定したときのモデル出力 13の目標値である。

[0107] 図 1における第 1の目標値設定部 700、及び第 2の目標値設定部 800を用いて、図

14における運転目標値が設定される。

[0108] 図 15は、第 1の目標値設定部 700の動作を示すフローチャート図である。

[0109] まず、ステップ 710において、評価値計算パラメータデータベース 270に保存されている計測信号評価項目のうち、制限値達成が目的である計測信号の項目と、その制限値を抽出する。次に、ステップ 720において、ステップ 710にて抽出した被制御量について、計測信号データベース 230に保存されているデータを取得する。ステツプ 730では、ステップ 720で取得したデータから、計測信号の最大値、最小値、平均値を計算する。図 16は、計測信号の最大値、最小値、平均値を説明する図である。これらの値は、第 1の目標値設定部 700にて計算する。ステップ 740では、（6)式を用いてモデル出力目標値を計算する。

[0110] 園

(^) = - i (^k) - (^k)) ο≤ί·≤ . . . ( 6 )

[0111] ここで、 Dj (k)はモデル出力目標値、 Hj (k)は制限値、 Mj (k)は最大値、 Aj (k)は平均値であり、 kはステップ 710で抽出された計測信号の項目数である。

[0112] 最後に、ステップ 750において、（6)式で計算した目標値を、評価値計算パラメ一タデータベース 270に保存する。

[0113] 次に、図 17を用いて第 2の目標値設定部 800の動作を説明する。図 17は、第 2の目標値設定部 800の動作を示すフローチャート図である。

[0114] まず、ステップ 810において、評価値計算パラメータデータベース 270に保存されている計測信号評価項目のうち、制限値を達成し、かつ可能な限り低減することが運転の目的である計測信号の項目と、その制限値及び運転目標値を抽出する。次に、ステップ 820において、ステップ 810にて抽出した計測信号項目について、計測信号データベース 230に保存されているデータを取得する。ステップ 830では、ステツプ 820で取得したデータから、計測信号毎に最大値、最小値、平均値を計算する。また、ステップ 840では、モデル出力 13を取得する。ステップ 850では、（7)式を用いてモデル出力目標値の初期値を計算する。

[0115] [数 7]

Dバ = H (）一 (Λίバ —^ (》 Q≤ j≤l · · ' ( 7 )

[0116] ここで、 Dj (k)はモデル出力目標値、 Hj (k)は制限値、 Mj (k)は最大値、 Aj (k)は平均値であり、 1はステップ 810で抽出された計測信号の評価項目数である。

[0117] 図 7のフローチャートを実行中に、モデル出力 13の値が Dj (k)より小さくなつた場合、（8)式を用いてモデル出力目標値を小さな値に更新する。

[0118] [数 8]

バ " 1) = ^ (） - . . . ( S ) [0119] ここで、 φは運転員の設定するパラメータである。 [0120] また、学習を実施している最中に得られたモデル出力の最小値を、モデル出力目標値に設定することもできる。

[0121] 尚、本実施例ではモデル出力目標値を小さな値に更新する場合にっ、て述べた力計測信号を可能な限り大きな値としたい場合には、モデル出力目標値を大きな値に更新することもできる。

[0122] これにより、学習部 400では、可能な限り低減することが目標である計測信号の項目について、この要求を満足できるようにモデル入力 12の生成方法を学習することが可能となる。

[0123] 次に、制御対象 100の運転員が保守ツール 910を用いて、画像表示装置 950にデータベースの情報を表示させる方法について説明する。図 18〜図 23は、画像表示装置 950に表示される画面の例である。運転員は、キーボード 901、マウス 902を用 V、てパラメータ値を入力するなどの操作を実行する。

[0124] 図 18は、画像表示装置 950に表示される初期画面である。運転員は、制御ロジック作成ボタン 951、学習条件設定ボタン 952、情報表示ボタン 953の中力も必要なボタンを選択し、マウス 902を用いてカーソル 954を移動させ、マウス 902をクリックすることによりボタンを押す。

[0125] 図 19は、制御ロジック作成ボタン 951をクリックした時に表示される制御ロジック編集画面である。運転員は、予め登録してある標準要素モジュール 963から必要なモジュールを選び、それをロジック編集画面 961へと移動させる。モジュール間は、結線 Z消去 962を用いて接続する。図 19により作成された制御ロジック図面は、保存ボタン 964をクリックすることにより、データ送受信処理部 930を通して制御ロジックデータベース 250に保存される。操作信号生成部 300では、この制御ロジック図面の情報を用いて、計測信号 2が入力されたときの操作信号 15を生成する。また、操作信号生成部 300では、学習情報データベース 280に保存されている情報を併用して、操作信号 15を生成することができる。学習情報データベース 280に保存されている図 12の情報の状態番号と中心の情報を用いることにより、モデル出力 13が望まヽ値となるようなモデル入力 12と同じ値を持つ操作信号 15を生成できる。

[0126] 図 19で作成した制御ロジック図面を保存しない場合には、キャンセルボタン 965をクリックする。また、戻るボタン 966をクリックすることにより、図 18の画面に戻る。

[0127] 図 20は、学習条件設定画面を説明する図である。図 18において学習条件設定ボタン 952をクリックすることにより、図 20の画面が表示される。

[0128] 運転員は、制限値入力欄 971に、被制御量とその制限値に関する情報を入力する。また、その被制御量が制限値以下となることが目的である場合は要求欄に「A」を、制限値以下になるとともに、可能な限り低減したい場合には要求欄に「B」を入力する。ノラメータ設定欄 972には、図 7のフローチャートを実行するのに必要な設定パラメータを入力する。操作端設定欄 973には、図 7のフローチャートによって操作方法を学習するための操作端名称、動作範囲、及びタイルコーディングのための分割数を入力する。

[0129] 図 20における保存ボタン 974をクリックすることにより、制限値入力欄 971に入力された情報は評価値計算パラメータデータベース 270に、ノラメータ設定欄 972に入力された情報は学習パラメータデータベース 260に、操作端設定欄 973に入力された情報は学習情報データベース 280に保存される。

[0130] キャンセルボタン 975をクリックすると、制限値入力欄 971、パラメータ設定欄 972、操作端設定欄 973に入力された情報がキャンセルされる。また、戻るボタン 976をタリックすることにより、図 18の画面に戻る。

[0131] 図 21は、計測信号データベース 230及び操作信号データベース 240に保存されている情報を画像表示装置 950に表示させるため、その条件を設定する画面である

。図 18において、情報表示ボタン 953をクリックすることにより図 21が表示される。

[0132] 運転員は、画像表示装置 950に表示させたい計測信号或いは操作信号を、入力欄 981に、そのレンジ (上限 Z下限)と共に入力する。また、表示させたい時間を時刻入力欄 982に入力する。

[0133] 表示ボタン 983をクリックすることにより、図 22に示すようにトレンドグラフが画像表示装置 950に表示される。図 22の戻るボタン 991をクリックすることにより、図 21の画面に戻る。

[0134] また、図 21において、戻るボタン 984をクリックすることにより、図 18の画面に戻ることがでさる。 [0135] 尚、以上で述べた画像以外にも、制御装置 200内のデータベースに保存されている任意の情報を、任意の態様で画像表示装置 950に表示することもできる。

[0136] 以下では、制御対象 100が火力発電プラントである場合において、本発明の制御装置 200を適用することの効果にっ、て説明する。

[0137] 本発明の制御装置 200を用いて火力発電プラントの空気ダンバを操作することによつて、 CO、 NOxを制御することができる。以下では、制御装置 200を用いて、 CO、

NOxを制御することによる効果について説明する。

[0138] 図 23は、 CO、 NOxの基本特性を説明する図である。図 23のように、一般に COと

NOxはトレードオフの関係にあり、 COを低減しょうとすると NOxが増加し、 NOxを低減しょうとすると COが増加する。

[0139] 火力発電プラントの煙突力排出される CO及び NOxには規制がかけられており、特に NOxについては、ボイラ出口のガスを脱硝装置に導き、ここでの処理を通して規制を守っている。脱硝装置に用いられるアンモニアの消費量は、脱硝装置入口の

NOx濃度が高いほど多くなる。脱硝装置入口 NOx量を可能な限り低減し、アンモ- ァ消費量を抑制すれば、ランニングコストの低減につながる。

[0140] そのため、 COが規制値を超えないように、かつ、 NOxを可能な限り低減することが望まれている。

[0141] 図 24は、制御装置 200における操作信号生成部 300において、学習情報データベース 280に保存されて、る情報を用いた操作を実施する前と後につ、て、脱硝装置入口の CO濃度と NOx濃度のトレンドを説明する図である。

[0142] 図 24に示すように、 CO及び NOxの値は、時間と共に変動する。これらの変動に関する情報は、図 15のステップ 730、及び図 17のステップ 830にて計算される。

[0143] ステップ 740及びステップ 840にて計算される目標値は（6)式及び（7)式で計算され、制限値力信号の最大値と平均の差を減算したものであるので、計測信号が変動しても制限値を超える可能性が低くなる。つまり、第 1の目標値設定部 700及び第 2の目標値設定部 800で計算される目標値は、計測値の変動分が考慮されたものであり、計測値が変動しても制限値を超えないようなモデル出力目標値になっている。

[0144] これにより、操作信号生成部 300で生成される操作信号 15は、前述の運転目標値を満足するような制御方法に関する情報が保存されている学習情報データベース 28 0の情報を用いて生成された信号となる。

[0145] 従って、図 24に示すように、操作後にも COは制限値を超えることはない。さらに、 NOxが操作前よりも低減するとヽぅ効果が得られる。

図面の簡単な説明

[0146] [図 1]本発明の一実施形態による制御装置を制御対象に適用した場合の制御システムの構成を示すブロック図である。

[図 2]本発明の一実施形態による制御装置によって制御される火力発電プラントの構成を示すシステムブロック図である。

[図 3]本発明の一実施形態による制御装置によって制御される火力発電プラントにおける配管部、及びエアーヒーター部の拡大図である。

[図 4]本発明の一実施形態による制御装置の中の計測信号データベースに記憶されるデータの態様を示す説明図である。

[図 5]本発明の一実施形態による制御装置の中の操作信号データベースに記憶されるデータの態様を示す説明図である。

[図 6]本発明の一実施形態による制御装置で用いられているアクタークリティック法の態様を示す説明図である。

[図 7]本発明の一実施形態による制御装置で運用されるアルゴリズムのフローチヤ一ト図である。

[図 8]本発明の一実施形態による制御装置で運用されるアルゴリズムのフローチヤ一トにおける、 1エピソード学習実行時に動作するフローチャート図である。

[図 9]本発明の一実施形態による制御装置の学習部における評価器に適用した、タィルコーディングの説明図である。

[図 10]本発明の一実施形態による制御装置の中の学習情報データベースに記憶されるデータの一例を示す説明図である。

[図 11]本発明の一実施形態による制御装置の学習部における制御器に適用した、正規分布を用いてモデル入力変更幅を決定する方法に関する説明図である。

[図 12]本発明の一実施形態による制御装置の中の学習情報データベースに記憶されるデータの別の例を示す説明図である。

[図 13]本発明の一実施形態による制御装置の中の学習パラメータデータベースに記憶されるデータの態様を示す説明図である。

[図 14]本発明の一実施形態による制御装置の中の評価値計算パラメータデータべースに記憶されるデータの態様を示す説明図である。

[図 15]本発明の一実施形態による制御装置における第 1の目標値設定部の動作フロ一チャート図である。

[図 16]計測データの最大、最小、平均に関する説明図である。

[図 17]本発明の一実施形態による制御装置における第 2の目標値設定部の動作フロ一チャート図である。

[図 18]本発明の一実施形態による画像表示装置に表示される初期画面である。

[図 19]本発明の一実施形態による画像表示装置に表示される制御ロジック編集画面である。

[図 20]本発明の一実施形態による画像表示装置に表示される学習条件設定画面である。

[図 21]本発明の一実施形態による画像表示装置に表示される表示情報設定画面である。

[図 22]本発明の一実施形態による画像表示装置に表示される計測値のトレンドダラフである。

[図 23]火力発電プラントから排出される CO、NOxの基本特性を説明する図である。

[図 24]本発明の一実施形態による制御装置を用いて火力発電プラントを制御した時の効果を説明する図である。

符号の説明

100…制御対象、 200…制御装置、 210…外部入力インターフェイス、 220…外部出力インターフェイス、 230…計測信号データベース、 240…操作信号データベース、 250…制御ロジックデータベース、 260…学習パラメータデータベース、 270· "評価値計算パラメータデータベース、 280…学習情報データベース、 300· ··操作信号生成部、 400…学習部、 500…モデル、 600…評価値計算部、 700…第 1の目標値設定部、 800…第 2の目標値設定部、 900…入力装置、 901…キーボード、 902··· マウス、 910···保守ツール、 920···外部入力インターフェイス、 930…データ送受信処理部、 940…外部出力インターフェイス、 950···画像表示装置。

Claims

請求の範囲

[1] 制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、

前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記制御対象力得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値を決定するモデル出力目標値決定手段と、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段を有し、前記操作信号生成部では前記学習手段で学習した結果が保存されているデータベースを参照しながら操作信号を生成するようにしたことを特徴とするプラントの制御装置。

[2] 請求項 1に記載されたプラントの制御装置において、予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入カインターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも 1つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。

[3] 請求項 2に記載されたプラントの制御装置にお、て、前記モデル出力目標値を決定する機能は、計測信号の最大値力も平均値を減算した値の絶対値を、計測信号の制限値力減算して決定するものであることを特徴とするプラントの制御装置。

[4] 請求項 2に記載されたプラントの制御装置にお、て、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。

[5] 請求項 2に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。

[6] 請求項 1に記載されたプラントの制御装置にお、て、モデル出力目標値を増加或いは減少するモデル目標値変更手段を有し、前記モデル目標値変更手段を用いて、はじめにモデル出力目標値の初期値を達成するようにモデル入力の生成方法を学習し、次いで変更後のモデル出力目標値を達成するようにモデル入力の生成方法を学習した学習結果が保存されているデータベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置。

[7] 請求項 1に記載されたプラントの制御装置において、予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入カインターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも 1つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、前記初期値及び変更後のモデル出力目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。

[8] 請求項 7に記載されたプラントの制御装置にお、て、モデル出力目標値の初期値を決定する機能は、計測信号の最大値力平均値を減算した値の絶対値を計測信号の制限値力減算して決定するものであることを特徴とするプラントの制御装置。

[9] 請求項 7に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。

[10] 請求項 7に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。

[11] 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値力制御対象の運転目標値を達成するように操作信号を生成する制御装置であって前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、

[12] 請求項 11に記載された火力発電プラントの制御装置において、前記モデル出力が前記モデル出力目標値を達成した場合には、前記モデル出力目標値を減少或いは増加する機能にぉ、て窒素酸ィ匕物のモデル出力目標値を減少或、は増カロさせた修正モデル出力目標値を決定し、前記学習機能にて前記修正モデル出力目標値を達成するモデル入力の生成方法を学習することを特徴とする火力発電プラントの制御装置。

[13] 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であつて、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、前記制御対象の計測信号の平均値，最大値，最小値の少なくとも 1つの値と、予め設定した計測信号の制限値を用いてモデル出力目標値を決定し、モデルの予測結果であるモデル出力が前記モデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定することを特徴とするプラントの制御方法。

[14] 請求項 13に記載されたプラントの制御方法において、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加し、更にその変更された目標値を達成するようにモデルの生成方法を学習することを特徴とするプラントの制御方法。

[15] 請求項 13に記載されたプラントの制御方法にぉ、て、前記モデル出力目標値は、計測信号の最大値力も平均値を減算した値の絶対値を、計測信号の制限値力も減算して算出することを特徴とするプラントの制御方法。

[16] 請求項 14に記載されたプラントの制御方法にぉ、て、前記モデル出力目標値の初期値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値力減算して算出することを特徴とするプラントの制御方法。

[17] 請求項 13に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正ある、は負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。

[18] 請求項 14に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正ある、は負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。

[19] 請求項 13に記載されたプラントの制御方法を火力発電プラントに用いた火力発電プラントの制御方法であって、