JP4573783B2 - プラントの制御装置と制御方法及び火力発電プラントとその制御方法 - Google Patents

プラントの制御装置と制御方法及び火力発電プラントとその制御方法 Download PDF

Info

Publication number
JP4573783B2
JP4573783B2 JP2006062619A JP2006062619A JP4573783B2 JP 4573783 B2 JP4573783 B2 JP 4573783B2 JP 2006062619 A JP2006062619 A JP 2006062619A JP 2006062619 A JP2006062619 A JP 2006062619A JP 4573783 B2 JP4573783 B2 JP 4573783B2
Authority
JP
Japan
Prior art keywords
value
model
measurement signal
learning
model output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006062619A
Other languages
English (en)
Other versions
JP2007241624A (ja
Inventor
孝朗 関合
悟 清水
昭彦 山田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2006062619A priority Critical patent/JP4573783B2/ja
Priority to US12/279,348 priority patent/US8185216B2/en
Priority to PCT/JP2006/326111 priority patent/WO2007102269A1/ja
Priority to CN2006800530571A priority patent/CN101379447B/zh
Publication of JP2007241624A publication Critical patent/JP2007241624A/ja
Application granted granted Critical
Publication of JP4573783B2 publication Critical patent/JP4573783B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/04—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators
    • G05B13/048—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric involving the use of models or simulators using a predictor
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F01—MACHINES OR ENGINES IN GENERAL; ENGINE PLANTS IN GENERAL; STEAM ENGINES
    • F01K—STEAM ENGINE PLANTS; STEAM ACCUMULATORS; ENGINE PLANTS NOT OTHERWISE PROVIDED FOR; ENGINES USING SPECIAL WORKING FLUIDS OR CYCLES
    • F01K13/00—General layout or general methods of operation of complete plants
    • F01K13/02—Controlling, e.g. stopping or starting
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F22—STEAM GENERATION
    • F22B—METHODS OF STEAM GENERATION; STEAM BOILERS
    • F22B35/00—Control systems for steam boilers
    • F22B35/007—Control systems for waste heat boilers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23—COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23N—REGULATING OR CONTROLLING COMBUSTION
    • F23N5/00—Systems for controlling combustion
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
    • G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
    • G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F23—COMBUSTION APPARATUS; COMBUSTION PROCESSES
    • F23N—REGULATING OR CONTROLLING COMBUSTION
    • F23N2223/00—Signal processing; Details thereof
    • F23N2223/48—Learning / Adaptive control

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Evolutionary Computation (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Thermal Sciences (AREA)
  • Feedback Control In General (AREA)

Description

本発明は、プラントの制御装置と制御方法に関する。また、火力発電プラントとその制御方法に関する。
プラントの制御装置では、制御対象であるプラントから得られる計測信号を処理して、制御対象に与える操作信号を算出する。制御装置には、プラント計測信号が運転目標を達成するように、操作信号を計算するアルゴリズムが実装されている。
プラントの制御に用いられている制御アルゴリズムとしては、ＰＩ（比例・積分）制御アルゴリズムがある。このアルゴリズムは、運転目標値と計測信号の偏差に比例ゲインを乗じた値に、偏差を時間積分した値を加算することによって、操作信号を導出する。また、学習アルゴリズムを用いて、プラントの操作信号を導出することも知られている。
一方、近年、教師なし学習の分野で、強化学習と呼ばれる手法がある。強化学習は、制御対象との試行錯誤的な相互作用を通じて、制御対象から得られる計測信号が望ましいものとなるように、制御対象に与える操作信号の生成方法を学習する学習制御の枠組みとして知られている。
強化学習では、制御対象から得られる信号を用いて計算されるスカラー量の評価値（強化学習では、報酬と呼ばれている）を手がかりに、現状態から将来までに得られる評価値の期待値が最大となるように、操作信号の生成方法を学習する。
非特許文献１には、計測信号が運転目標値を達成した場合に正の評価値を与え、Actor-Critic、Ｑ学習、実時間Dynamic Programmingなどのアルゴリズムを用いて、操作信号の生成方法を学習する手法が記載されている。また、その手法を発展させた方式として、Dyna−アーキテクチャと呼ばれる枠組みが紹介されている。この枠組みでは、制御装置内に制御対象を模擬するモデルを持つ。モデルは、制御対象に与える操作信号をモデル入力として取り込み、制御対象の計測信号の予測値であるモデル出力を算出する。このモデルは物理式や統計的手法を用いて構築する。また、モデル出力を用いて計算される評価値を手がかりに、モデル入力の生成方法を学習する。
Dyna−アーキテクチャでは、モデル出力目標値を達成するようにモデル入力の生成方法を予め学習しておき、この学習結果に従って制御対象に印加する操作信号を決定する。
「強化学習」（Reinforcement Learning）、三上貞芳・皆川雅章共訳、森北出版株式会社、２０００年１２月２０日出版、第１４２〜１７２頁、第２４７〜２５３頁
前述のプラントの制御装置を設計する際には、運転目標値及びモデル出力目標値を適切に設定する必要がある。特に、モデル出力目標値を決定する際には、以下に述べる課題を解決する必要がある。
前述のモデル出力が、制御対象計測信号の平均値となる場合がある。仮に、運転目標値とモデル出力目標値を同じ値に設定してしまうと、このモデル出力目標値を達成するモデル入力に従って生成した操作信号を制御対象に与えても、計測信号が運転目標を達成できない可能性がある。操作信号が一定の条件で制御対象を運転し、この時に得られる計測信号が変動するような場合には、計測信号の平均値が運転目標値以下であっても、ある時間帯では運転目標値を超えてしまう可能性がある。この場合、モデル出力が運転目標値を達成していても、計測信号は運転目標を達成していない。従って、計測信号が運転目標値を達成するためには、計測信号の変動幅を考慮してモデル出力目標値を決定する必要がある。
本発明の目的は、上述の課題を解決可能な運転目標値を計算する機能を備えたプラントの制御装置及び制御方法を提供することにある。
本発明は、制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値を決定するモデル出力目標値決定手段と、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段を用いて、モデル出力目標値を達成するモデル入力の生成方法を学習した結果が保存されているデーベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置にある。
本発明の制御装置は、プラントの計測信号と、予め設定された計測信号の制限値を用いてモデル出力目標値を決定する機能を備えている。この機能を用いることにより、計測信号を処理し、計測信号の平均値，最大値，最小値を導出できる。
計測信号が変動する場合には、計測信号の制限値から、計測信号の最大値から平均値を減算した値の絶対値を減算した値をモデル出力目標値とすることができる。
このモデル出力目標値を達成するモデル入力の生成方法に従って、制御対象であるプラントに与える操作信号を決定すれば、モデル出力目標値と計測信号の平均値が一致する。その結果、計測信号が変動しても、計測信号がその制限値を超えることはない。
従って、計測信号が変動する場合でも、本発明のプラントの制御装置による操作信号をプラントに与えれば、計測信号が制限値を逸脱することを抑制できる。
本発明では、更に以下の実施態様を提案する。
（１） 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。
（２） 前記（１）に記載されたプラントの制御装置において、前記モデル出力目標値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
（３） 前記（１）に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
（４） 前記（１）に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
（５） 制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段と、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値の初期値を決定するモデル出力目標値決定手段と、モデル出力目標値を増加或いは減少するモデル目標値変更手段を用いて、はじめにモデル出力目標値の初期値を達成するようにモデル入力の生成方法を学習し、次いで変更後のモデル出力目標値を達成するようにモデル入力の生成方法を学習した学習結果が保存されているデータベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置。
（６） 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、前記初期値及び変更後のモデル出力目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。
（７） 前記（６）に記載されたプラントの制御装置において、モデル出力目標値の初期値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
（８） 前記（６）に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
（９） 前記（６）に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
（１０） 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、
前記モデルの予測結果であるモデル出力が、モデル出力目標値を達成するように、前記モデルに与えるモデル入力の生成方法を学習する学習機能と、
前記学習の結果に従って制御対象に与える操作信号を決定する機能と、
予め設定された計測信号の制限値を保存するデータベースと、
前記制御対象の計測信号を取り込む外部入力インターフェイスと、
取り込んだ計測信号の値を保存する計測信号データベースと、
前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能を備え、
前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の１つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の１つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸化濃度と窒素酸化物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンパ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。
（１１） 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、
前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、
前記モデルの予測結果であるモデル出力が、モデル出力目標値を達成するように、前記モデルに与えるモデル入力の生成方法を学習する学習機能と、
前記学習の結果に従って制御対象に与える操作信号を決定する機能と、
予め設定された計測信号の制限値を保存するデータベースと、
前記制御対象の計測信号を取り込む外部入力インターフェイスと、
取り込んだ計測信号の値を保存する計測信号データベースと、
前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、
前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、
前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の１つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の１つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸化濃度と窒素酸化物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合には、前記モデル出力目標値を減少或いは増加する機能において窒素酸化物のモデル出力目標値を減少或いは増加させた修正モデル出力目標値を決定し、前記学習機能にて前記修正モデル出力目標値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンパ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。
（１２） 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値を決定し、この目標値を達成するようにモデル入力の生成方法を学習することを特徴とするプラントの制御方法。
（１３） 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値の初期値を決定し、この初期値を達成するようにモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加し、更にその変更された目標値を達成するようにモデルの生成方法を学習することを特徴とするプラントの制御方法。
（１４） 前記（１２）に記載されたプラントの制御方法において、前記モデル出力目標値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
（１５） 前記（１３）に記載されたプラントの制御方法において、前記モデル出力目標値の初期値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
（１６） 前記（１２）に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
（１７） 前記（１３）に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
（１８） 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
前記計測信号のうち、一酸化炭素と窒素酸化物の少なくとも１つの環境規制値を制限値として設定し、
前記制限値が設定された計測信号の平均値，最大値，最小値の少なくとも１つの値と、前記制限値を用いて前記モデル出力目標値の初期値を決定し、
この初期値を達成するようにモデル入力の生成方法を学習し、この学習結果に従って少なくとも空気ダンパ開度の操作信号を生成することを特徴とする火力発電プラントの制御方法。
本発明は、計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と、前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備えることを特徴とする第一の発明と、前記第一の発明によって初期値を決定し、モデル出力がモデル出力目標値の初期値を達成した場合に、モデル出力目標値を減少あるいは増加する機能を備えた第二の発明に大別される。
第一の発明では、計測信号が変動する場合に、変動幅を考慮して、計測信号の制限値より小さな値にモデル出力目標値を修正することが可能であり、常に計測信号が制限値を達成できる。
プラントによっては、ある特定の計測信号の値を、可能な限り０に近づけることが運転目標である場合がある。仮に、モデル出力目標値を０に設定し、この値が達成不可能な値である場合には、第一の発明では、モデル入力の生成方法を学習できない事態が発生する。このような事象を回避し、適したモデル入力の生成方法を学習するには、モデル出力目標値の設定方法に工夫が必要である。
第二の発明では、可能な限り０に近づけることが運転目標である計測信号に関して、そのモデル出力目標値の初期値はある程度大きな値であり、その値は除々に０に近づくことになる。従って、モデル出力目標値を達成するモデル入力の生成方法を学習できないという事態が発生することはない。
以下、最良の実施形態による制御装置について、図面を参照しながら説明する。但し、本発明は以下の実施形態に限定されるものでは無い。
図１は、本実施形態に係る制御システムを、制御対象１００に適用した例のブロック図である。制御対象１００を制御する制御システムは、制御装置２００、入力装置９００、保守ツール９１０、画像表示装置９５０とで構成される。制御装置２００は、外部入力インターフェイス２１０を介して、制御対象１００からの計測信号１を取り込む。また、制御装置２００では、外部出力インターフェイス２２０を介して、制御対象１００に操作信号１６を送信する。
外部入力インターフェイス２１０で取り込んだ計測信号２は、操作信号生成部３００に伝送されると共に、計測信号データベース２３０に保存される。また、操作信号生成部３００にて生成する操作信号１５は、外部出力インターフェイス２２０に伝送されると共に、操作信号データベース２４０に保存される。
操作信号生成部３００では、学習情報データベース２８０に保存されている学習情報９と、制御ロジックデータベース２５０に保存されている制御ロジック情報６を用いて、制御対象１００からの計測信号１が運転目標値を達成するように操作信号１５を生成する。
学習情報データベース２８０に保存される情報は、学習部４００で生成される。学習部４００は、モデル５００及び評価値計算部６００と接続される。
モデル５００は、制御対象１００の特性を模擬する機能を持つ。すなわち、操作信号１６を制御対象１００に与え、その結果、計測信号１を得るのと同じように、モデル５００を動作させるためのモデル入力１２をモデル５００に与え、その結果としてモデル出力１３を得る。モデル出力１３は、計測信号１の予測値である。このモデル５００は、制御対象１００の特性を模擬するものであり、物理法則に基づくモデル式、あるいは統計的手法を用いて、モデル入力１２に対するモデル出力１３を計算する機能を持つ。
評価値計算部６００は、評価値計算パラメータデータベース２７０に保存されている評価値計算パラメータ８とモデル出力１３を用いて、評価値１４を生成する機能を持つ。評価値計算パラメータデータベース２７０に保存されている情報の一部に、モデル出力１３の目標値がある。このモデル出力目標値は、第１の目標値設定部７００及び第２の目標値設定部８００で生成される。
第１の目標値設定部７００は、計測信号データベース２３０に保存されている計測信号３と、評価値計算パラメータデータベース２７０に保存されている制限値信号１７を用いて、第１の目標値信号４を生成する。また、第２の目標値設定部８００は、計測信号データベース２３０に保存されている計測信号３と、評価値計算パラメータデータベース２７０に保存されている前回目標値信号１８と、モデル出力１３を用いて、第２の目標値信号５を生成する。
学習部４００は、学習情報データベース２８０に保存されている前回学習情報１１と、学習パラメータデータベース２６０に保存されている学習パラメータ７と、モデル出力１３を用いて、モデル入力１２を生成する。モデル５００で計算されたモデル出力１３を用いて、評価値計算部６００で計算した評価値１４が学習部４００に入力される。学習部４００では、評価値１４を用いて学習情報を更新し、更新学習情報１０を学習情報データベース２８０に送信する。
制御対象１００であるプラントの運転員は、キーボード９０１とマウス９０２で構成される入力装置９００と、画像表示装置９５０に接続されている保守ツール９１０を用いることにより、制御装置２００に備えられている種々のデータベースに保存されている情報にアクセスすることができる。
保守ツール９１０は、外部入力インターフェイス９２０と、データ送受信処理部９３０及び外部出力インターフェイス９４０で構成される。
入力装置９００で生成した入力信号３１は、外部入力インターフェイス９２０を介して保守ツール９１０に取り込まれる。データ送受信処理部９３０では、入力信号３２の情報に従って、制御装置２００に備えられているデータベース情報３０を取得する。また、データ送受信処理部９３０では、データベース情報３０を処理した結果得られる出力信号３３を、外部出力インターフェイス９４０に送信する。出力信号３４は、画像表示装置９５０に表示される。
尚、本実施形態ではデータベースが全て制御装置２００の内部に配置されているが、これらを制御装置２００の外部に配置することもできる。また、本実施形態では操作信号１６を生成するための信号処理機能が全て制御装置２００の内部に配置されているが、これらを制御装置２００の外部に配置してもよい。
以下では、本発明の制御システムを火力発電プラントに適用した場合を例にとり、データベースに保存されている情報、及び信号処理機能について説明する。
図２は、火力発電プラントを説明する図である。まず、火力発電プラントにおける発電の仕組みについて説明する。ボイラ１０１には、バーナー１０２を介して燃料となる石炭（微粉炭）と石炭搬送用の１次空気、及び燃焼調整用の２次空気が供給される。石炭と１次空気は配管１３４から、２次空気は配管１４１から導かれる。また、２段燃焼用のアフタエアを、アフタエアポート１０３を介してボイラ１０１に投入する。このアフタエアは、配管１４２から導かれる。
石炭の燃焼により発生した高温のガスは、ボイラ１０１の経路に沿って流れた後、エアーヒーター１０４を通過する。その後、排ガス処理した後、煙突を介して大気に放出される。
ボイラ１０１を循環する給水は、給水ポンプ１０５を介してボイラ１０１に導かれ、熱交換器１０６においてガスにより過熱され、高温高圧の蒸気となる。尚、本実施形態では熱交換器の数を１つとしているが、熱交換器を複数個配置してもよい。
熱交換器１０６を通過した高温高圧の蒸気は、タービンガバナ１０７を介して蒸気タービン１０８に導かれる。蒸気の持つエネルギーによって蒸気タービン１０８を駆動し、発電機１０９で発電する。
火力発電プラントには、様々な計測器が配置されており、この計測器から取得された情報は、計測信号１として制御装置２００に伝送される。例えば、図２には、流量計測器１５０、温度計測器１５１、圧力計測器１５２、発電出力計測器１５３、及び濃度計測器１５４が図示されている。流量計測器１５０では、給水ポンプ１０５からボイラ１０１に供給される給水の流量を計測する。また、温度計測器１５１及び圧力計測器１５２では、蒸気タービン１０８に供給される蒸気の温度や圧力を計測する。発電機１０９で発電された電力量は、発電出力計測器１５３で計測する。ボイラ１０１を通過中のガスに含まれている成分（ＣＯ、ＮＯｘなど）の濃度に関する情報は、濃度計測器１５４で計測することができる。尚、一般的には、図２に図示した以外にも、多数の計測器が火力発電プラントに配置されているが、図２では省略している。
次に、バーナー１０２から投入される１次空気と２次空気、及びアフタエアポート１０３から投入されるアフタエアの経路について説明する。
１次空気は、ファン１２０から配管１３０に導かれ、途中でエアーヒーター１０４を通過する配管１３２と通過しない配管１３１に分岐し、再び配管１３３にて合流し、ミル１１０に導かれる。エアーヒーター１０４を通過する空気は、ガスにより過熱される。この１次空気を用いて、ミル１１０において生成する微粉炭をバーナー１０２に搬送する。
２次空気及びアフタエアは、ファン１２１から配管１４０に導かれ、エアーヒーター１０４で過熱された後、２次空気用の配管１４１と、アフタエア用の配管１４２とに分岐し、それぞれバーナー１０２とアフタエアポート１０３に導かれる。
図３は、１次空気と２次空気及びアフタエアが通過する配管部、並びにエアーヒーター１０４の拡大図である。図３に示すように、配管には空気ダンパ１６０、１６１、１６２、１６３が配置されている。空気ダンパを操作することにより、配管における空気が通過する面積を変更することできるので、空気ダンパの操作によって配管を通過する空気流量を調整できる。
制御装置２００で生成される操作信号１６を用いて、給水ポンプ１０５、ミル１１０、空気ダンパ１６０、１６１、１６２、１６３などの機器を操作する。
次に、計測信号データベース２３０、及び操作信号データベース２４０に保存する情報について説明する。図４及び図５は、それぞれ計測信号データベース２３０及び操作信号データベース２４０に保存されている情報の態様を説明する図である。
図４に示すように、計測信号データベース２３０には、制御対象１００で計測した情報が、計測器毎に各計測時刻と共に保存される。例えば、図２における流量計測器１５０、温度計測器１５１、圧力計測器１５２、発電出力計測器１５３、濃度計測器１５４で計測した流量値Ｆ１５０、温度値Ｔ１５１、圧力値Ｐ１５２、発電出力値Ｅ１５３、排ガスに含まれるＮＯｘ濃度Ｄ１５４が、時間の情報と共に保存される。尚、図４では１秒周期でデータを保存しているが、データ収集のサンプリング周期は任意に設定することが可能である。また、操作信号データベース２４０に保存される情報も同様に、図５に示すように給水流量の指令信号などの操作信号が、時間の情報と共に保存される。
次に、学習部４００、モデル５００、評価値計算部６００の動作について説明する。
学習部４００は、制御対象１００の特性を模擬するモデル５００を対象に、モデル出力１３がモデル出力目標値を達成するように、モデル入力１２の生成方法を学習する。学習部４００では、モデル出力１３を入力とした評価値計算部６００の出力である評価値１４を用いて、この学習を実行する。
このような学習を実行するアルゴリズムとして、非特許文献１に記載されている強化学習理論がある。強化学習とは、評価値（報酬）情報を手がかりに、学習部４００とモデル５００との相互作用を通して、モデル出力目標値を達成するためのモデル入力１２の生成方法を学習することである。強化学習を適用することにより、現時刻から将来にわたって得られる評価値の期待値が最大となるようなモデル入力１２の生成方法を学習することが可能である。
本実施例では、強化学習アルゴリズムとして、アクタークリティック法を適用した例について述べる。尚、本発明の制御装置２００における学習方法としては、強化学習法以外に、遺伝的アルゴリズム或いは線形・非線形計画法などの最適化技術を適用することが可能である。
図６は、アクタークリティック法の概要を説明する図である。図６のように、アクタークリティック法では、モデル入力１２を生成する制御器４５０と、状態の価値を評価する評価器４６０を備える。評価器４６０では、モデル出力１３に基づいて状態価値を計算し、評価値計算部６００の出力信号である評価値１４を取得し、（１）式を用いてＴＤ誤差信号４７０を計算する。
Figure 0004573783
ここで、δはＴＤ誤差、γは割引率、Ｖ（ｓ）は状態ｓの価値である。
評価器４６０から、制御器４５０に、（１）式で計算されたＴＤ誤差信号４７０が伝送される。
図７及び図８は、アクタークリティック法のフローチャートを説明する図である。尚、本フローチャートの実行に必要な設計パラメータ（例えば割引率γ）は学習パラメータデータベース２６０、評価値計算パラメータデータベース２７０、及び学習情報データベース２８０に保存されている。これらのデータベースに保存されている情報の形態、及び設計パラメータをデータベースに登録する方法については後述する。
図７に示すように、ステップ３０１では制御のサンプリング周期Ｔを取得する。次に、ステップ３０２では１エピソード学習を実行する。このステップ３０２において、学習部４００、モデル５００、及び評価値計算部６００が動作し、前述の強化学習アルゴリズムを実行する。ステップ３０３では学習終了判定を実行する。これは、制御のサンプリング周期以下で学習を終了させるために設けられたステップであり、学習実行時間がＴより小さい間はステップ３０２に戻り、Ｔを超えたら学習を終了する。図７のフローチャートは制御対象１００を制御している間繰り返し実施される。
図８は、図７におけるステップ３０２の１エピソード学習実行時の動作を説明するフローチャートである。
まずステップ４０１においてモデル入力の初期値をランダムに設定する。次にステップ４０２でステップ４０１にて生成したモデル入力１２をモデル５００に入力し、モデル出力１３を得る。
ステップ４０３では、評価値計算部６００において、モデル出力１３と評価値計算パラメータデータベース２７０に保存されているモデル出力の目標値とを比較し、モデル出力１３がモデル出力目標値を達成していればエピソードを終了し、達成していない場合はステップ４０４に進む。
ステップ４０４では学習部４００において、学習情報データベース２８０に保存されている情報を用いて、モデル入力変更幅Δａを決定する。Δａの決定方法は後述する。
ステップ４０５では、（２）式を用いてモデル入力１２を決定する。
Figure 0004573783
ステップ４０６では、ステップ４０５で決定したモデル入力１２をモデル５００に入力し、モデル出力１３を得る。
ステップ４０７では、ステップ４０６で得たモデル出力１３を用いて、評価値計算部６００において評価値信号１４を計算する。
ステップ４０８では、学習情報データベース２８０に保存されている情報と、（１）式を用いてＴＤ誤差を計算する。
ステップ４０９では、ステップ４０８で計算したＴＤ誤差を用いて制御器４５０のパラメータを更新し、その更新した結果を学習情報データベース２８０に保存する。
ステップ４１０では、ステップ４０８で計算したＴＤ誤差を用いて評価器４６０のパラメータを更新し、その更新した結果を学習情報データベース２８０に保存する。
ステップ４１１では、ステップ４０３と同様の方法で終了判定を実施する。
以下では、制御器４５０において正規乱数を用いてモデル入力１２を生成し、評価器４６０においてタイルコーディング法を用いて状態価値を計算する場合について述べる。尚、本実施例で用いた方法以外の手法を用いて、制御器４５０及び評価器４６０を構成してもよい。
評価器４６０では、タイルコーディングを用いて状態を分割する。図９は、タイルコーディング法を説明する図である。タイルコーディングは、入力空間を分割し、どの領域に属するかを判別することによって、連続的な状態を離散的な状態として認識する手法である。１つ１つの領域は、タイルと呼ばれる。
例えば、モデル５００への入力信号１２が入力信号Ａと入力信号Ｂの２次元であり、入力信号Ａが０と１の間、入力信号Ｂが１と２の間にある場合は、図９における状態番号１のタイルに属する。学習情報データベース２８０には、図１０に示すような形態で、状態番号と価値関数とが対応した情報が保存されている。評価器４６０では、モデル出力１３が得られた時の入力信号１２の値と、学習情報データベース２８０に保存されている情報を用いて、状態の価値を計算する。
また、評価器４６０では、ＴＤ誤差δ１を用いて、状態価値を（３）式に従って更新する。ここで、β１は学習率である。
Figure 0004573783
図１１は、ステップ４０４においてモデル入力変化幅を計算する方法と、ステップ４０９において制御器パラメータの更新方法を説明する図である。
図１１に示した正規分布は、正規分布の中心と標準偏差の２つのパラメータを用いて発生させる。ここで、横軸はモデル入力変化幅であり、縦軸は発生確率である。従って、モデル入力変化幅は正規乱数分布に従って決定される。
次に、制御器４５０のパラメータの更新方法を説明する。
まず、ある状態において、図１１（ａ）に示した乱数を発生させ、その乱数値に基づいてモデル入力を修正した結果、ＴＤ誤差が正であったとする。これは、このモデル入力を実行したことによって、予期していたよりもよい評価値が得られたことを意味する。そこで、次に同じ状態に到達したとき、この乱数値が選択される確率が大きくなるように、パラメータを更新する。具体的には、図１１（ｂ）に示すように中心をプラスの方向にシフトし、また、発生した乱数は標準偏差よりも内側であったので、標準偏差の値が小さくなるように更新する。
正規分布の中心ｃ（Ｓｔ）及び標準偏差σ（Ｓｔ）は、それぞれ（４）式、及び（５）式に従って更新する。ここで、β２及びβ３は学習率である。
Figure 0004573783
Figure 0004573783
図１２は、学習情報データベース２８０に保存されている情報であり、これは制御器４５０に関する情報である。前述のように、図１１の正規分布を発生させるためには中心と分散の２つのパラメータが必要であり、このパラメータは状態番号毎に与えられる。このパラメータ値が、状態番号と対応づけられ、図１２のような態様で学習情報データベース２８０に保存する。
図１３は、学習パラメータデータベース２６０に保存されている情報の態様を説明する図である。図１３に示すように、図８のフローチャートにおけるステップ４０９、ステップ４１０を実行するのに必要な学習率などのパラメータが保存される。
ステップ４０７では、評価値計算パラメータデータベース２６０とモデル出力１３を用いて評価値１４を生成する。
強化学習では、評価値１４の期待値が最大となるように、モデル入力１２の生成方法を学習するので、モデル出力１３がモデル出力目標値を達成した場合に、評価値１４の値が大きくなることが望ましい。
このような評価値１４の生成方法として、モデル出力１３が、モデル出力目標値を達成した場合に正の値、例えば「１」を評価値とする方法がある。また、モデル出力目標値を達成していない場合、モデル出力目標値とモデル出力１３の誤差に反比例するような関数を用いて、評価値１４を計算する方法がある。さらに、これらの方法を組み合わせて評価値１４を計算する方法も考えられる。
評価値計算パラメータデータベース２７０には、モデル出力１３の目標値に関する情報が保存されている。
図１４は、評価値計算パラメータデータベース２７０に保存されている情報の態様を説明する図である。図１４のように、計測信号１の制限値、要求及びモデル出力１３の制御目標値が保存されている。制限値、要求は、制御対象１００の運転員が設定するものであり、この設定方法については後述する。制限値は、計測信号１の制限値であり、制御対象１００から得られる計測信号１が超えてはならない値である。図１４に記載されている要求とは、この制限値の持つ属性であり、計測信号１が制限値以下となることが目標であるか、あるいは、計測信号１が制限値以下であり、さらに、可能な限り小さな値とすることを目標とするか、等を定義する属性である。最後に、図１４に記載されている目標値とは、あるモデル入力１２を設定したときのモデル出力１３の目標値である。
図１における第１の目標値設定部７００、及び第２の目標値設定部８００を用いて、図１４における運転目標値が設定される。
図１５は、第１の目標値設定部７００の動作を示すフローチャート図である。
まず、ステップ７１０において、評価値計算パラメータデータベース２７０に保存されている計測信号評価項目のうち、制限値達成が目的である計測信号の項目と、その制限値を抽出する。次に、ステップ７２０において、ステップ７１０にて抽出した被制御量について、計測信号データベース２３０に保存されているデータを取得する。ステップ７３０では、ステップ７２０で取得したデータから、計測信号の最大値、最小値、平均値を計算する。図１６は、計測信号の最大値、最小値、平均値を説明する図である。これらの値は、第１の目標値設定部７００にて計算する。ステップ７４０では、（６）式を用いてモデル出力目標値を計算する。
Figure 0004573783
ここで、Ｄｊ（ｋ）はモデル出力目標値、Ｈｊ（ｋ）は制限値、Ｍｊ（ｋ）は最大値、Ａｊ（ｋ）は平均値であり、ｋはステップ７１０で抽出された計測信号の項目数である。
最後に、ステップ７５０において、（６）式で計算した目標値を、評価値計算パラメータデータベース２７０に保存する。
次に、図１７を用いて第２の目標値設定部８００の動作を説明する。図１７は、第２の目標値設定部８００の動作を示すフローチャート図である。
まず、ステップ８１０において、評価値計算パラメータデータベース２７０に保存されている計測信号評価項目のうち、制限値を達成し、かつ可能な限り低減することが運転の目的である計測信号の項目と、その制限値及び運転目標値を抽出する。次に、ステップ８２０において、ステップ８１０にて抽出した計測信号項目について、計測信号データベース２３０に保存されているデータを取得する。ステップ８３０では、ステップ８２０で取得したデータから、計測信号毎に最大値、最小値、平均値を計算する。また、ステップ８４０では、モデル出力１３を取得する。ステップ８５０では、（７）式を用いてモデル出力目標値の初期値を計算する。
Figure 0004573783
ここで、Ｄｊ（ｋ）はモデル出力目標値、Ｈｊ（ｋ）は制限値、Ｍｊ（ｋ）は最大値、Ａｊ（ｋ）は平均値であり、ｌはステップ８１０で抽出された計測信号の評価項目数である。
図７のフローチャートを実行中に、モデル出力１３の値がＤｊ（ｋ）より小さくなった場合、（８）式を用いてモデル出力目標値を小さな値に更新する。
Figure 0004573783
ここで、ψは運転員の設定するパラメータである。
また、学習を実施している最中に得られたモデル出力の最小値を、モデル出力目標値に設定することもできる。
尚、本実施例ではモデル出力目標値を小さな値に更新する場合について述べたが、計測信号を可能な限り大きな値としたい場合には、モデル出力目標値を大きな値に更新することもできる。
これにより、学習部４００では、可能な限り低減することが目標である計測信号の項目について、この要求を満足できるようにモデル入力１２の生成方法を学習することが可能となる。
次に、制御対象１００の運転員が保守ツール９１０を用いて、画像表示装置９５０にデータベースの情報を表示させる方法について説明する。図１８〜図２３は、画像表示装置９５０に表示される画面の例である。運転員は、キーボード９０１、マウス９０２を用いてパラメータ値を入力するなどの操作を実行する。
図１８は、画像表示装置９５０に表示される初期画面である。運転員は、制御ロジック作成ボタン９５１、学習条件設定ボタン９５２、情報表示ボタン９５３の中から必要なボタンを選択し、マウス９０２を用いてカーソル９５４を移動させ、マウス９０２をクリックすることによりボタンを押す。
図１９は、制御ロジック作成ボタン９５１をクリックした時に表示される制御ロジック編集画面である。運転員は、予め登録してある標準要素モジュール９６３から必要なモジュールを選び、それをロジック編集画面９６１へと移動させる。モジュール間は、結線／消去９６２を用いて接続する。図１９により作成された制御ロジック図面は、保存ボタン９６４をクリックすることにより、データ送受信処理部９３０を通して制御ロジックデータベース２５０に保存される。操作信号生成部３００では、この制御ロジック図面の情報を用いて、計測信号２が入力されたときの操作信号１５を生成する。また、操作信号生成部３００では、学習情報データベース２８０に保存されている情報を併用して、操作信号１５を生成することができる。学習情報データベース２８０に保存されている図１２の情報の状態番号と中心の情報を用いることにより、モデル出力１３が望ましい値となるようなモデル入力１２と同じ値を持つ操作信号１５を生成できる。
図１９で作成した制御ロジック図面を保存しない場合には、キャンセルボタン９６５をクリックする。また、戻るボタン９６６をクリックすることにより、図１８の画面に戻る。
図２０は、学習条件設定画面を説明する図である。図１８において学習条件設定ボタン９５２をクリックすることにより、図２０の画面が表示される。
運転員は、制限値入力欄９７１に、被制御量とその制限値に関する情報を入力する。また、その被制御量が制限値以下となることが目的である場合は要求欄に「Ａ」を、制限値以下になるとともに、可能な限り低減したい場合には要求欄に「Ｂ」を入力する。パラメータ設定欄９７２には、図７のフローチャートを実行するのに必要な設定パラメータを入力する。操作端設定欄９７３には、図７のフローチャートによって操作方法を学習するための操作端名称、動作範囲、及びタイルコーディングのための分割数を入力する。
図２０における保存ボタン９７４をクリックすることにより、制限値入力欄９７１に入力された情報は評価値計算パラメータデータベース２７０に、パラメータ設定欄９７２に入力された情報は学習パラメータデータベース２６０に、操作端設定欄９７３に入力された情報は学習情報データベース２８０に保存される。
キャンセルボタン９７５をクリックすると、制限値入力欄９７１、パラメータ設定欄９７２、操作端設定欄９７３に入力された情報がキャンセルされる。また、戻るボタン９７６をクリックすることにより、図１８の画面に戻る。
図２１は、計測信号データベース２３０及び操作信号データベース２４０に保存されている情報を画像表示装置９５０に表示させるため、その条件を設定する画面である。図１８において、情報表示ボタン９５３をクリックすることにより図２１が表示される。
運転員は、画像表示装置９５０に表示させたい計測信号或いは操作信号を、入力欄９８１に、そのレンジ（上限／下限）と共に入力する。また、表示させたい時間を時刻入力欄９８２に入力する。
表示ボタン９８３をクリックすることにより、図２２に示すようにトレンドグラフが画像表示装置９５０に表示される。図２２の戻るボタン９９１をクリックすることにより、図２１の画面に戻る。
また、図２１において、戻るボタン９８４をクリックすることにより、図１８の画面に戻ることができる。
尚、以上で述べた画像以外にも、制御装置２００内のデータベースに保存されている任意の情報を、任意の態様で画像表示装置９５０に表示することもできる。
以下では、制御対象１００が火力発電プラントである場合において、本発明の制御装置２００を適用することの効果について説明する。
本発明の制御装置２００を用いて火力発電プラントの空気ダンパを操作することによって、ＣＯ、ＮＯｘを制御することができる。以下では、制御装置２００を用いて、ＣＯ、ＮＯｘを制御することによる効果について説明する。
図２３は、ＣＯ、ＮＯｘの基本特性を説明する図である。図２３のように、一般にＣＯとＮＯｘはトレードオフの関係にあり、ＣＯを低減しようとするとＮＯｘが増加し、ＮＯｘを低減しようとするとＣＯが増加する。
火力発電プラントの煙突から排出されるＣＯ及びＮＯｘには規制がかけられており、特にＮＯｘについては、ボイラ出口のガスを脱硝装置に導き、ここでの処理を通して規制を守っている。脱硝装置に用いられるアンモニアの消費量は、脱硝装置入口のＮＯｘ濃度が高いほど多くなる。脱硝装置入口ＮＯｘ量を可能な限り低減し、アンモニア消費量を抑制すれば、ランニングコストの低減につながる。
そのため、ＣＯが規制値を超えないように、かつ、ＮＯｘを可能な限り低減することが望まれている。
図２４は、制御装置２００における操作信号生成部３００において、学習情報データベース２８０に保存されている情報を用いた操作を実施する前と後について、脱硝装置入口のＣＯ濃度とＮＯｘ濃度のトレンドを説明する図である。
図２４に示すように、ＣＯ及びＮＯｘの値は、時間と共に変動する。これらの変動に関する情報は、図１５のステップ７３０、及び図１７のステップ８３０にて計算される。
ステップ７４０及びステップ８４０にて計算される目標値は（６）式及び（７）式で計算され、制限値から信号の最大値と平均の差を減算したものであるので、計測信号が変動しても制限値を超える可能性が低くなる。つまり、第１の目標値設定部７００及び第２の目標値設定部８００で計算される目標値は、計測値の変動分が考慮されたものであり、計測値が変動しても制限値を超えないようなモデル出力目標値になっている。
これにより、操作信号生成部３００で生成される操作信号１５は、前述の運転目標値を満足するような制御方法に関する情報が保存されている学習情報データベース２８０の情報を用いて生成された信号となる。
従って、図２４に示すように、操作後にもＣＯは制限値を超えることはない。さらに、ＮＯｘが操作前よりも低減するという効果が得られる。
本発明の一実施形態による制御装置を制御対象に適用した場合の制御システムの構成を示すブロック図である。 本発明の一実施形態による制御装置によって制御される火力発電プラントの構成を示すシステムブロック図である。 本発明の一実施形態による制御装置によって制御される火力発電プラントにおける配管部、及びエアーヒーター部の拡大図である。 本発明の一実施形態による制御装置の中の計測信号データベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態による制御装置の中の操作信号データベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態による制御装置で用いられているアクタークリティック法の態様を示す説明図である。 本発明の一実施形態による制御装置で運用されるアルゴリズムのフローチャート図である。 本発明の一実施形態による制御装置で運用されるアルゴリズムのフローチャートにおける、１エピソード学習実行時に動作するフローチャート図である。 本発明の一実施形態による制御装置の学習部における評価器に適用した、タイルコーディングの説明図である。 本発明の一実施形態による制御装置の中の学習情報データベースに記憶されるデータの一例を示す説明図である。 本発明の一実施形態による制御装置の学習部における制御器に適用した、正規分布を用いてモデル入力変更幅を決定する方法に関する説明図である。 本発明の一実施形態による制御装置の中の学習情報データベースに記憶されるデータの別の例を示す説明図である。 本発明の一実施形態による制御装置の中の学習パラメータデータベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態による制御装置の中の評価値計算パラメータデータベースに記憶されるデータの態様を示す説明図である。 本発明の一実施形態による制御装置における第１の目標値設定部の動作フローチャート図である。 計測データの最大、最小、平均に関する説明図である。 本発明の一実施形態による制御装置における第２の目標値設定部の動作フローチャート図である。 本発明の一実施形態による画像表示装置に表示される初期画面である。 本発明の一実施形態による画像表示装置に表示される制御ロジック編集画面である。 本発明の一実施形態による画像表示装置に表示される学習条件設定画面である。 本発明の一実施形態による画像表示装置に表示される表示情報設定画面である。 本発明の一実施形態による画像表示装置に表示される計測値のトレンドグラフである。 火力発電プラントから排出されるＣＯ、ＮＯｘの基本特性を説明する図である。 本発明の一実施形態による制御装置を用いて火力発電プラントを制御した時の効果を説明する図である。
符号の説明
１００…制御対象、２００…制御装置、２１０…外部入力インターフェイス、２２０…外部出力インターフェイス、２３０…計測信号データベース、２４０…操作信号データベース、２５０…制御ロジックデータベース、２６０…学習パラメータデータベース、２７０…評価値計算パラメータデータベース、２８０…学習情報データベース、３００…操作信号生成部、４００…学習部、５００…モデル、６００…評価値計算部、７００…第１の目標値設定部、８００…第２の目標値設定部、９００…入力装置、９０１…キーボード、９０２…マウス、９１０…保守ツール、９２０…外部入力インターフェイス、９３０…データ送受信処理部、９４０…外部出力インターフェイス、９５０…画像表示装置。

Claims (14)

  1. 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
    予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するとともに、前記モデル出力目標値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
  2. 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
    予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値を決定する機能を備え、決定された目標値を達成するように前記学習機能で学習するとともに、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
  3. 請求項１または請求項２に記載されたプラントの制御装置において、
    計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
  4. 制御対象であるプラントに与える操作信号を生成する操作信号生成部を備えた制御装置において、
    前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するようにモデル入力の生成方法を学習する学習手段と、前記制御対象から得られた計測信号と予め設定された計測信号の制限値を用いてモデル出力目標値の初期値を決定するモデル出力目標値決定手段と、モデル出力目標値を増加或いは減少するモデル目標値変更手段を用いて、はじめにモデル出力目標値の初期値を達成するようにモデル入力の生成方法を学習し、次いで変更後のモデル出力目標値を達成するようにモデル入力の生成方法を学習した学習結果が保存されているデータベースを参照しながら、前記操作信号生成部において操作信号を生成するようにしたことを特徴とするプラントの制御装置。
  5. 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、前記モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習する学習機能と、学習の結果に従って制御対象に与える操作信号を決定する機能を有するものにおいて、
    予め設定された計測信号の制限値を保存するデータベースと、前記制御対象の計測信号を取り込む外部入力インターフェイスと、取り込んだ計測信号の値を保存する計測信号データベースと、前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、前記初期値及び変更後のモデル出力目標値を達成するように前記学習機能で学習するようにしたことを特徴とするプラントの制御装置。
  6. 請求項５に記載されたプラントの制御装置において、モデル出力目標値の初期値を決定する機能は、計測信号の最大値から平均値を減算した値の絶対値を計測信号の制限値から減算して決定するものであることを特徴とするプラントの制御装置。
  7. 請求項５に記載されたプラントの制御装置において、学習に用いる評価値を計算する評価値計算部を更に備え、この評価値計算部ではモデル出力目標値を達成した場合に正或いは負の評価値を算出し、前記学習機能では前記評価値の期待値を最大或いは最小とする操作方法を学習するようにしたことを特徴とするプラントの制御装置。
  8. 請求項５に記載されたプラントの制御装置において、計測信号の制限値を入力するためのユーザーインターフェイスを備えたことを特徴とするプラントの制御装置。
  9. 制御対象である火力発電プラントに操作信号を与えた時に得られる計測信号の値が、制御対象の運転目標値を達成するように操作信号を生成する制御装置であって、
    前記制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルと、
    前記モデルの予測結果であるモデル出力が、モデル出力目標値を達成するように、前記モデルに与えるモデル入力の生成方法を学習する学習機能と、
    前記学習の結果に従って制御対象に与える操作信号を決定する機能と、
    予め設定された計測信号の制限値を保存するデータベースと、
    前記制御対象の計測信号を取り込む外部入力インターフェイスと、
    取り込んだ計測信号の値を保存する計測信号データベースと、
    前記計測信号データベースに保存された計測信号の平均値，最大値，最小値の少なくとも１つを計算した結果と前記計測信号の制限値を用いて前記モデル出力目標値の初期値を決定する機能と、
    前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加する機能を備え、
    前記外部入力インターフェイスにて火力発電プラントの計測信号のうち、少なくとも一酸化炭素濃度と窒素酸化物濃度の１つを取り込み、前記計測信号の制限値を保存するデータベースに少なくとも一酸化炭素濃度と窒素酸化物濃度の１つの環境規制値を計測信号の制限値として保存し、前記出力目標値の初期値を決定する機能では少なくとも一酸化濃度と窒素酸化物濃度のモデル出力目標値の初期値を決定し、前記学習機能にて前記初期値を達成するモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合には、前記モデル出力目標値を減少或いは増加する機能において窒素酸化物のモデル出力目標値を減少或いは増加させた修正モデル出力目標値を決定し、前記学習機能にて前記修正モデル出力目標値を達成するモデル入力の生成方法を学習し、前記操作信号を決定する機能では学習結果に従って少なくとも空気ダンパ開度の操作信号を生成するようにしたことを特徴とする火力発電プラントの制御装置。
  10. 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
    前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値の初期値を決定し、この初期値を達成するようにモデル入力の生成方法を学習し、前記モデル出力が前記モデル出力目標値を達成した場合にモデル出力目標値を減少或いは増加し、更にその変更された目標値を達成するようにモデルの生成方法を学習することを特徴とするプラントの制御方法。
  11. 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
    前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値を決定し、この目標値を達成するようにモデル入力の生成方法を学習するとともに、前記モデル出力目標値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
  12. 請求項１０に記載されたプラントの制御方法において、前記モデル出力目標値の初期値は、計測信号の最大値から平均値を減算した値の絶対値を、計測信号の制限値から減算して算出することを特徴とするプラントの制御方法。
  13. 制御対象であるプラントに操作信号を与えた時に得られる計測信号の値が、前記制御対象の運転目標値を達成するように前記操作信号を生成する制御方法であって、制御対象に操作信号を与えた時に得られる計測信号の値を予測するモデルを用いて前記制御対象に操作信号を与えた時に得られる計測信号の値を予測し、モデルの予測結果であるモデル出力がモデル出力目標値を達成するように前記モデルに与えるモデル入力の生成方法を学習し、学習の結果に従って制御対象に与える操作信号を決定する制御方法において、
    前記制御対象の計測信号の平均値，最大値，最小値の少なくとも１つの値と、予め設定した計測信号の制限値を用いて前記モデル出力目標値を決定し、この目標値を達成するようにモデル入力の生成方法を学習するとともに、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
  14. 請求項１０に記載されたプラントの制御方法において、モデル出力がモデル出力目標値を達成した場合に正あるいは負の評価値を算出し、モデル入力の生成方法を学習する際に、前記評価値の期待値を最大或いは最小とする操作方法を学習することを特徴とするプラントの制御方法。
JP2006062619A 2006-03-08 2006-03-08 プラントの制御装置と制御方法及び火力発電プラントとその制御方法 Expired - Fee Related JP4573783B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2006062619A JP4573783B2 (ja) 2006-03-08 2006-03-08 プラントの制御装置と制御方法及び火力発電プラントとその制御方法
US12/279,348 US8185216B2 (en) 2006-03-08 2006-12-27 Plant controlling device and method, thermal power plant, and its control method
PCT/JP2006/326111 WO2007102269A1 (ja) 2006-03-08 2006-12-27 プラントの制御装置と制御方法及び火力発電プラントとその制御方法
CN2006800530571A CN101379447B (zh) 2006-03-08 2006-12-27 设备的控制装置和控制方法及火力发电设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006062619A JP4573783B2 (ja) 2006-03-08 2006-03-08 プラントの制御装置と制御方法及び火力発電プラントとその制御方法

Publications (2)

Publication Number Publication Date
JP2007241624A JP2007241624A (ja) 2007-09-20
JP4573783B2 true JP4573783B2 (ja) 2010-11-04

Family

ID=38474711

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006062619A Expired - Fee Related JP4573783B2 (ja) 2006-03-08 2006-03-08 プラントの制御装置と制御方法及び火力発電プラントとその制御方法

Country Status (4)

Country Link
US (1) US8185216B2 (ja)
JP (1) JP4573783B2 (ja)
CN (1) CN101379447B (ja)
WO (1) WO2007102269A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4427074B2 (ja) 2007-06-07 2010-03-03 株式会社日立製作所 プラントの制御装置
JP4989421B2 (ja) * 2007-10-30 2012-08-01 株式会社日立製作所 プラントの制御装置および火力発電プラントの制御装置
JP4876057B2 (ja) * 2007-11-20 2012-02-15 株式会社日立製作所 プラントの制御装置、及び火力発電プラントの制御装置
US8135653B2 (en) 2007-11-20 2012-03-13 Hitachi, Ltd. Power plant control device which uses a model, a learning signal, a correction signal, and a manipulation signal
JP5117232B2 (ja) * 2008-03-18 2013-01-16 株式会社日立製作所 ボイラを備えたプラントの制御装置、及びボイラを備えたプラントの制御方法
JP4627553B2 (ja) 2008-03-28 2011-02-09 株式会社日立製作所 プラントの制御装置および火力発電プラントの制御装置
JP5277064B2 (ja) * 2009-04-22 2013-08-28 株式会社日立製作所 プラントの制御装置、火力発電プラントの制御装置及び火力発電プラント
JP5196379B2 (ja) * 2009-06-24 2013-05-15 株式会社日立製作所 制御装置、制御モデル調整装置及び制御モデル調整方法
DE102010019718A1 (de) * 2010-05-07 2011-11-10 Orcan Energy Gmbh Regelung eines thermischen Kreisprozesses
JP5503563B2 (ja) * 2011-01-05 2014-05-28 株式会社日立製作所 プラントの制御装置及び火力発電プラントの制御装置
JP5914870B2 (ja) * 2012-06-28 2016-05-11 パナソニックＩｐマネジメント株式会社 流体計測装置
JP6204137B2 (ja) * 2013-09-30 2017-09-27 三浦工業株式会社 脱硝装置付き排ガスボイラ
JP6173152B2 (ja) * 2013-09-30 2017-08-02 三浦工業株式会社 脱硝装置付き排ガスボイラ
DE102013112896A1 (de) * 2013-11-22 2015-05-28 Mitsubishi Hitachi Power Systems Europe Gmbh Verfahren, System und Computerprogramm-Produkt zur Analyse von produktionstechnischen und/oder verfahrenstechnischen Prozessen und/oder Prozessschritten in einer Anlage
JP6204204B2 (ja) * 2014-01-20 2017-09-27 中国電力株式会社 ボイラー燃料投入量決定装置
WO2016203757A1 (ja) * 2015-06-18 2016-12-22 日本電気株式会社 制御装置、それを使用する情報処理装置、制御方法、並びにコンピュータ・プログラムが格納されているコンピュータ読み取り可能な記憶媒体
JP6059375B1 (ja) 2016-02-09 2017-01-11 ファナック株式会社 生産制御システムおよび統合生産制御システム
CN105867128B (zh) * 2016-04-18 2019-10-15 中国神华能源股份有限公司 一种非均衡偏差控制方法、装置及火电厂自动控制系统
US10235881B2 (en) * 2017-07-28 2019-03-19 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation capability configuration for a vehicle
JP7121506B2 (ja) * 2018-03-14 2022-08-18 株式会社日立ハイテク 探索装置、探索方法及びプラズマ処理装置
KR102260500B1 (ko) * 2018-12-28 2021-06-03 주식회사 경동나비엔 보일러 및 보일러의 연소 제어방법
EP4322076A1 (en) * 2022-08-11 2024-02-14 Vito NV A method and system for characterizing thermal energy distribution in thermal energy exchange systems
DE102022125151A1 (de) 2022-09-29 2024-04-04 Vaillant Gmbh Verfahren zur Regelung eines Fluids, Regelung und Computerprogramm

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222002A (ja) * 1999-02-03 2000-08-11 Omron Corp 制御パラメータ決定方法及び装置
JP2004126868A (ja) * 2002-10-01 2004-04-22 Nippon Steel Corp 制御モデルの学習方法、制御モデルの学習装置、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP2005249349A (ja) * 2004-03-05 2005-09-15 Ebara Corp 廃棄物処理プラント設備の運転制御方法及び運転制御装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2656637B2 (ja) 1989-11-22 1997-09-24 株式会社日立製作所 プロセス制御システム及び発電プラントプロセス制御システム
JP2907672B2 (ja) * 1993-03-12 1999-06-21 株式会社日立製作所 プロセスの適応制御方法およびプロセスの制御システム
JPH08339204A (ja) * 1995-06-09 1996-12-24 Hitachi Ltd 火力発電プラント自律適応最適化制御システム
US5993194A (en) 1996-06-21 1999-11-30 Lemelson; Jerome H. Automatically optimized combustion control
JP3421552B2 (ja) 1997-06-30 2003-06-30 株式会社東芝 ルックアップテーブル設計方法及び記録媒体
JPH1153005A (ja) 1997-08-04 1999-02-26 Nippon Steel Corp 制御系におけるモデルパラメータの学習方法
US6227842B1 (en) 1998-12-30 2001-05-08 Jerome H. Lemelson Automatically optimized combustion control
JP3712329B2 (ja) 1999-02-03 2005-11-02 株式会社日立製作所 プロセスの制御装置
US6468069B2 (en) 1999-10-25 2002-10-22 Jerome H. Lemelson Automatically optimized combustion control
US8644961B2 (en) * 2005-12-12 2014-02-04 Neuco Inc. Model based control and estimation of mercury emissions
US7389151B2 (en) * 2006-03-06 2008-06-17 General Electric Company Systems and methods for multi-level optimizing control systems for boilers

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000222002A (ja) * 1999-02-03 2000-08-11 Omron Corp 制御パラメータ決定方法及び装置
JP2004126868A (ja) * 2002-10-01 2004-04-22 Nippon Steel Corp 制御モデルの学習方法、制御モデルの学習装置、コンピュータプログラム、及びコンピュータ読み取り可能な記憶媒体
JP2005249349A (ja) * 2004-03-05 2005-09-15 Ebara Corp 廃棄物処理プラント設備の運転制御方法及び運転制御装置

Also Published As

Publication number Publication date
CN101379447A (zh) 2009-03-04
US8185216B2 (en) 2012-05-22
US20090099667A1 (en) 2009-04-16
JP2007241624A (ja) 2007-09-20
CN101379447B (zh) 2012-05-16
WO2007102269A1 (ja) 2007-09-13

Similar Documents

Publication Publication Date Title
JP4573783B2 (ja) プラントの制御装置と制御方法及び火力発電プラントとその制御方法
JP4627553B2 (ja) プラントの制御装置および火力発電プラントの制御装置
JP5251938B2 (ja) プラントの制御装置及び火力発電プラントの制御装置
US7219040B2 (en) Method and system for model based control of heavy duty gas turbine
JP4741968B2 (ja) プラントの制御装置
JP4423617B2 (ja) プラント制御装置
JP4427074B2 (ja) プラントの制御装置
JP5503563B2 (ja) プラントの制御装置及び火力発電プラントの制御装置
JP4665815B2 (ja) プラントの制御装置
JP2008146371A (ja) ボイラプラントの制御装置
JP2007233634A (ja) 強化学習制御装置
JP5918663B2 (ja) 火力プラントの制御装置及び制御方法
JP5410480B2 (ja) プラントの制御装置
JP5117232B2 (ja) ボイラを備えたプラントの制御装置、及びボイラを備えたプラントの制御方法
JP5277064B2 (ja) プラントの制御装置、火力発電プラントの制御装置及び火力発電プラント
JP4358871B2 (ja) ボイラプラントの制御装置及び運転員訓練用装置
KR20080080434A (ko) 연소 공정을 조절하기 위한 제어 루프
JP4989421B2 (ja) プラントの制御装置および火力発電プラントの制御装置
JP3712329B2 (ja) プロセスの制御装置
JP5378288B2 (ja) プラントの制御装置及び火力発電プラントの制御装置
JP2010146068A (ja) プラントの制御装置及び火力発電プラントの制御装置
JP2000056805A (ja) 予測制御装置
JP4333766B2 (ja) ボイラの制御装置、及び制御方法
JP5469226B2 (ja) 制御装置の保守ツール

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20071206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100413

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100610

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100817

R150 Certificate of patent or registration of utility model

Ref document number: 4573783

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130827

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees