JPH0849845A - Combustion deciding control method and deciding control device utilizing color image - Google Patents

Combustion deciding control method and deciding control device utilizing color image

Info

Publication number
JPH0849845A
JPH0849845A JP6204275A JP20427594A JPH0849845A JP H0849845 A JPH0849845 A JP H0849845A JP 6204275 A JP6204275 A JP 6204275A JP 20427594 A JP20427594 A JP 20427594A JP H0849845 A JPH0849845 A JP H0849845A
Authority
JP
Japan
Prior art keywords
combustion
color image
characteristic parameter
color
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6204275A
Other languages
Japanese (ja)
Other versions
JP2963009B2 (en
Inventor
Kenichi Yokoyama
賢一 横山
Eiichiro Nanbu
栄一郎 南部
Yasumitsu Kurosaki
泰充 黒崎
Yuichi Miyamoto
裕一 宮本
Kazuki Ogura
一樹 小倉
Isao Tsukimoto
功 月本
Hiroshi Fujiyama
博 藤山
Norio Toyoshima
則雄 豊嶋
Hidetaka Miyazaki
英隆 宮崎
Yoshinobu Mori
芳信 森
Motohiro Inoue
基広 井上
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kawasaki Heavy Industries Ltd
Original Assignee
Kawasaki Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kawasaki Heavy Industries Ltd filed Critical Kawasaki Heavy Industries Ltd
Priority to JP6204275A priority Critical patent/JP2963009B2/en
Publication of JPH0849845A publication Critical patent/JPH0849845A/en
Application granted granted Critical
Publication of JP2963009B2 publication Critical patent/JP2963009B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Testing And Monitoring For Control Systems (AREA)
  • Regulation And Control Of Combustion (AREA)
  • Control Of Combustion (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE:To provide a combustion deciding method and deciding device which is devised to reduce a time delay to a value low enough to prevent a problem on a practicable use from arising. CONSTITUTION:A combustion state is photographed in a color image. A feature parameter determined from a chromaticity coordinate of a specified color specification widely related to a combustion state is inputted to a neutral network means 42 together with a process state amount, such as a combustion chamber outlet temperature T. From the image, adaptation to a typical combustion state is determined and the combustion state is evaluated.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】本発明は燃焼判定・制御方法およ
び判定・制御装置に関する。さらに詳しくは、カラー画
像を利用した燃焼判定・制御方法および判定・制御装置
に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a combustion determination / control method and a determination / control device. More specifically, the present invention relates to a combustion determination / control method and a determination / control device using a color image.

【0002】[0002]

【従来の技術】従来より、ごみ焼却炉やボイラ等の燃焼
装置においては、燃焼が正しくなされているか否かをみ
るために、燃焼状態の判定や燃焼診断がなされている。
これは燃焼が正しくなされていない場合には、NOX
COや煤塵が発生し、大気汚染の原因となるからであ
る。また、この判定結果や診断結果を用いて燃焼制御を
行い、NOXやCOや煤塵の発生を抑制することがなさ
れている。
2. Description of the Related Art Conventionally, in a combustion device such as a refuse incinerator or a boiler, a combustion state is determined and a combustion diagnosis is performed in order to see whether or not the combustion is properly performed.
This is the case where combustion is not performed correctly, NO X and CO and soot is generated, because cause air pollution. Further, combustion control is performed using the determination result and the diagnosis result to suppress the generation of NO X , CO, and soot and dust.

【0003】この燃焼判定方法および判定装置あるいは
燃焼診断方法および診断装置に関しては、従来より種々
の提案がなされている。
Various proposals have heretofore been made regarding this combustion determination method and determination apparatus or combustion diagnosis method and diagnostic apparatus.

【0004】例えば、特開平1ー263414号公報に
は、バーナの燃焼状態を診断する燃焼診断方法におい
て、火炎の形状及び燃焼のプロセス量を計測し、火炎の
形状と燃焼のプロセス量との相関関係を表すモデルを同
定し、前記モデルを用いて火炎の形状から燃焼のプロセ
ス量を推定することを特徴とする火炎形状計測による燃
焼診断方法が提案されている。
For example, Japanese Unexamined Patent Publication No. 1-263414 discloses a combustion diagnosis method for diagnosing a combustion state of a burner, in which a flame shape and a combustion process amount are measured, and a correlation between the flame shape and the combustion process amount is measured. A combustion diagnosis method based on flame shape measurement has been proposed, which is characterized by identifying a model representing the relationship and estimating the combustion process amount from the flame shape using the model.

【0005】しかしながら、特開平1ー263414号
公報の提案にかかわる燃焼診断方法においては、NOX
やCOやO2や灰中未燃分等の測定に時間がかかる燃焼
のプロセス量の計測が必要となるために、燃焼診断に相
当の時間遅れを伴うということになる。かかる時間遅れ
は、例えばストーカ炉による燃焼方式のように燃焼に数
十分を要する場合にはさほど問題にはならないが、例え
ば流動床炉のように燃焼が十数秒でなされる場合には、
診断結果が実際の燃焼にマッチしないという問題を生ず
る。
However, in the combustion diagnosis method according to the proposal of Japanese Patent Laid-Open No. 1-263414, NO X
Since it is necessary to measure the combustion process amount, which takes a long time to measure CO, O 2, and unburned matter in ash, combustion diagnosis is accompanied by a considerable time delay. Such a time delay does not become a serious problem when combustion requires several tens of minutes as in the case of a stoker combustion system, but when combustion is performed in a dozen seconds as in a fluidized bed furnace, for example,
The problem is that the diagnostic results do not match the actual combustion.

【0006】[0006]

【発明が解決しようとする課題】本発明はかかる従来技
術の問題点に鑑みなされたものであって、時間遅れが実
用上問題とならない程度に低減される燃焼判定方法およ
び判定装置を提供することを主たる目的とし、さらにそ
の結果を用いた燃焼制御方法および燃焼制御装置を提供
することをも目的としている。
SUMMARY OF THE INVENTION The present invention has been made in view of the problems of the prior art, and provides a combustion determination method and a determination apparatus in which the time delay is reduced to such an extent that it does not pose a practical problem. The main purpose is to provide a combustion control method and a combustion control device using the result.

【0007】[0007]

【課題を解決するための手段】本発明者等はかかる従来
技術の問題点に対し鋭意研究した結果、燃焼状態に応じ
て火炎の輝度ばかりでなく色彩も変化するが、これらの
変化が燃焼状態と相関関係を有し、その相関関係がある
特定の表色系の色度座標から求められる特徴パラメータ
に依存していることを見出し、本発明を完成するに至っ
た。
Means for Solving the Problems As a result of intensive studies made by the present inventors on the problems of the prior art, not only the brightness of the flame but also the color change depending on the combustion state. It has been found that the present invention has a correlation with the above and that the correlation depends on the characteristic parameter obtained from the chromaticity coordinates of a specific color system.

【0008】すなわち、本発明の第1発明は、プロセス
状態量を計測する手順と、燃焼状態をカラー画像で撮像
する手順と、得られたカラー画像を画像処理して赤成
分、緑成分および青成分の3成分画像に分けて第1画像
メモリに格納する手順と、格納された赤成分、緑成分お
よび青成分の3成分画像の表色系の変換を行う手順と、
前記表色系変換後の画像から燃焼状態に大きくかかわっ
ている特徴パラメータを抽出する手順と、抽出された特
徴パラメータおよびプロセス状態量をニューラルネット
ワークの入力として用い、典型的な燃焼状態との適合度
を求める手順とを含んでなることを特徴とするカラー画
像を利用した燃焼判定方法に関する。
That is, according to the first aspect of the present invention, the procedure for measuring the process state quantity, the procedure for capturing the combustion state with a color image, and the image processing of the obtained color image are performed for the red component, the green component and the blue component. A procedure of dividing the three-component image of the component into the first image memory and storing the same, and a procedure of converting the color system of the stored three-component image of the red component, the green component and the blue component,
A procedure for extracting a characteristic parameter greatly related to a combustion state from the image after the color system conversion, and using the extracted characteristic parameter and process state quantity as an input of a neural network, the compatibility with a typical combustion state And a method for determining combustion using a color image.

【0009】ここで、前記プロセス状態量は、例えば燃
焼室出口O2濃度、燃焼室炉内圧力、または燃焼室出口
温度とされる。
Here, the process state quantity is, for example, the combustion chamber outlet O 2 concentration, the combustion chamber furnace pressure, or the combustion chamber outlet temperature.

【0010】本発明の第1発明においては、撮像された
カラー画像から火炎の領域を分離する手順が付加されて
なるのが好ましい。また、前記適合度を確率的に統合処
理して燃焼状態を評価する手順が付加されてなるのがさ
らに好ましい。
In the first aspect of the present invention, it is preferable that a procedure for separating the flame region from the captured color image is added. Further, it is more preferable that a procedure for evaluating the combustion state by stochastically integrating the compatibility is added.

【0011】本発明の第2発明は、前記燃焼判定方法に
よる燃焼判定または評価結果を用いて燃焼制御がなされ
ることを特徴とするカラー画像を利用した燃焼制御方法
に関する。
A second aspect of the present invention relates to a combustion control method using a color image, characterized in that combustion control is performed using a combustion determination or evaluation result by the combustion determination method.

【0012】より具体的には、前記燃焼制御により、空
気供給量、1次空気量および2次空気量の割合、燃焼室
内への注水量または燃料供給量が調整される。
More specifically, the combustion control adjusts the ratio of the air supply amount, the primary air amount and the secondary air amount, the water injection amount into the combustion chamber or the fuel supply amount.

【0013】本発明の第3発明の第1態様は、プロセス
状態量入力処理手段とカラー画像撮像手段と表色系変換
手段と特徴パラメータ抽出手段とニューラルネットワー
ク手段とを備え、前記表色系変換手段により、撮像され
た画像の表色系の変換がなされ、前記特徴パラメータ抽
出手段により、変換された表色系の成分値に基づいて特
徴パラメータが抽出され、前記ニューラルネットワーク
手段により、前記プロセス状態量入力手段からのプロセ
ス状態量および特徴パラメータに基づいて、典型的な燃
焼状態との適合度が算出されて燃焼状態が評価されるこ
とを特徴とするカラー画像を利用した燃焼判定装置に関
する。
A first aspect of the third aspect of the present invention comprises a process state quantity input processing means, a color image pickup means, a color system conversion means, a characteristic parameter extraction means and a neural network means, and the color system conversion is performed. The means converts the color system of the picked-up image, the characteristic parameter extraction unit extracts the characteristic parameter based on the component value of the converted color system, and the neural network unit processes the process state. The present invention relates to a combustion determination device using a color image, characterized in that the degree of compatibility with a typical combustion state is calculated and the combustion state is evaluated based on the process state quantity and the characteristic parameter from the quantity input means.

【0014】本発明の第3発明の第2態様は、プロセス
状態量入力処理手段とカラー画像撮像手段と表色系変換
手段と特徴パラメータ抽出手段とニューラルネットワー
ク手段と確率的統合処理手段とを備え、前記表色系変換
手段により、撮像された画像の表色系の変換がなされ、
前記特徴パラメータ抽出手段により、変換された表色系
の成分値に基づいて特徴パラメータが抽出され、前記ニ
ューラルネットワーク手段により、前記プロセス状態量
入力手段からのプロセス状態量および特徴パラメータに
基づいて、典型的な燃焼状態との適合度が算出され、前
記確率的統合処理手段により、算出された適合度が確率
的に処理されて燃焼状態が評価されることを特徴とする
カラー画像を利用した燃焼判定装置に関する。
A second aspect of the third aspect of the present invention comprises a process state quantity input processing means, a color image capturing means, a color system conversion means, a characteristic parameter extraction means, a neural network means and a stochastic integration processing means. , The color system conversion means converts the color system of the captured image,
The characteristic parameter extraction means extracts characteristic parameters based on the converted component values of the color system, and the neural network means extracts typical characteristic values based on the process state quantity and the characteristic parameter from the process state quantity input means. Of the combustion state using a color image, in which the degree of compatibility with a specific combustion state is calculated, and the calculated degree of compatibility is stochastically processed by the stochastic integration processing means to evaluate the combustion state. Regarding the device.

【0015】ここで、前記プロセス状態量は、燃焼室出
口O2濃度、燃焼室炉内圧力、または燃焼室出口温度と
される。
Here, the process state quantity is the O 2 concentration in the combustion chamber outlet, the combustion chamber furnace pressure, or the combustion chamber outlet temperature.

【0016】本発明の第4発明の第1態様は、プロセス
状態量入力処理手段とカラー画像撮像手段と表色系変換
手段と特徴パラメータ抽出手段とニューラルネットワー
ク手段と燃焼制御処理手段とプロセス制御量出力処理手
段とを備え、前記表色系変換手段により、撮像された画
像の表色系の変換がなされ、前記特徴パラメータ抽出手
段により、変換された表色系の成分値に基づいて特徴パ
ラメータが抽出され、前記ニューラルネットワーク手段
により、前記プロセス状態量入力手段からのプロセス状
態量および特徴パラメータに基づいて、典型的な燃焼状
態との適合度が算出されて燃焼状態が評価され、前記燃
焼制御処理手段により、前記燃焼状態の評価に基づいて
プロセス制御量が算出され、前記プロセス制御量出力処
理手段により、前記プロセス制御量に対し所定の処理が
なされて出力されることを特徴とするカラー画像を利用
した燃焼制御装置に関する。
The first aspect of the fourth aspect of the present invention is to provide a process state quantity input processing means, a color image pickup means, a color system conversion means, a characteristic parameter extraction means, a neural network means, a combustion control processing means, and a process control amount. Output processing means, the color system conversion means converts the color system of the captured image, and the characteristic parameter extraction means generates characteristic parameters based on the converted component values of the color system. Extracted, the degree of compatibility with a typical combustion state is calculated based on the process state quantity and the characteristic parameter from the process state quantity input means, the combustion state is evaluated, and the combustion control process is performed. Means for calculating a process control amount based on the evaluation of the combustion state, and the process control amount output processing means for To the process control amount regarding combustion control apparatus using a color image, characterized in that the predetermined processing is outputted been made.

【0017】本発明の第4発明の第2態様は、プロセス
状態量入力処理手段とカラー画像撮像手段と表色系変換
手段と特徴パラメータ抽出手段とニューラルネットワー
ク手段と確率的統合処理手段と燃焼制御処理手段とプロ
セス制御量出力処理手段とを備え、前記表色系変換手段
により、撮像された画像の表色系の変換がなされ、前記
特徴パラメータ抽出手段により、変換された表色系の成
分値に基づいて特徴パラメータが抽出され、前記ニュー
ラルネットワーク手段により、前記プロセス状態量入力
手段からのプロセス状態量および特徴パラメータに基づ
いて、典型的な燃焼状態との適合度が算出され、前記確
率的統合処理手段により、算出された適合度が確率的に
処理されて燃焼状態が評価され、前記燃焼制御処理手段
により、前記燃焼状態の評価に基づいてプロセス制御量
が算出され、前記プロセス制御量出力処理手段により、
前記プロセス制御量に対し所定の処理がなされて出力さ
れることを特徴とするカラー画像を利用した燃焼制御装
置に関する。
A second aspect of the fourth aspect of the present invention is to provide a process state quantity input processing means, a color image pickup means, a color system conversion means, a characteristic parameter extraction means, a neural network means, a stochastic integration processing means, and a combustion control. The colorimetric system conversion unit converts the colorimetric system of the captured image, and the characteristic parameter extraction unit converts the colorimetric component value. Based on the process state quantity and the characteristic parameter from the process state quantity input means, the degree of conformity with a typical combustion state is calculated by the neural network means, and the stochastic integration is performed. The processing means stochastically processes the calculated fitness to evaluate the combustion state, and the combustion control processing means performs the combustion control. Process control amount based on the evaluation of state is calculated by the process control amount output processing means,
The present invention relates to a combustion control device using a color image, wherein a predetermined process is performed on the process control amount and the process control amount is output.

【0018】ここで、前記プロセス状態量は、例えば燃
焼室出口O2濃度、燃焼室炉内圧力、または燃焼室出口
温度であり、前記プロセス制御量は、例えば空気供給
量、1次空気量および2次空気量の割合、燃焼室内への
注水量または燃料供給量に関するものとされる。
Here, the process state quantity is, for example, a combustion chamber outlet O 2 concentration, a combustion chamber furnace pressure, or a combustion chamber outlet temperature, and the process control quantity is, for example, an air supply amount, a primary air amount and It relates to the ratio of the amount of secondary air, the amount of water injected into the combustion chamber, or the amount of fuel supply.

【0019】[0019]

【作用】燃焼室出口O2濃度、燃焼室炉内圧力、燃焼室
出口温度などのプロセス状態量を計測するとともに、燃
焼状態のカラー画像を撮像し、得られたカラー画像から
赤、緑および青の各色成分からなる3成分画像を作成
し、この3成分画像に対し表色系の変換を行い、ついで
この表色系変換後の画像から燃焼状態に大きくかかわっ
ている特徴パラメータを抽出し、これらプロセス状態量
および特徴パラメータをニューラルネットワークに入力
する。ニューラルネットワークでは、入力されたプロセ
ス状態量および特徴パラメータに基づいて、典型的な燃
焼状態との適合度を求めて燃焼状態の判定または評価が
される。しかるに、燃焼状態のカラー画像の撮像は時間
遅れなくしてなされているので、その画像を利用した燃
焼状態の判定または評価は、実用上、時間遅れがない。
また、得られた適合度を確率的に統合処理して燃焼状態
の評価を行う本発明の好ましい態様においては、確率的
に統合処理しているので、例えば火炎の揺らぎや燃焼む
らにより短時間の間に画像が不規則に変化しても、信頼
性の高い判定または評価がなし得る。
[Function] In addition to measuring the process state quantities such as the O 2 concentration in the combustion chamber outlet, the pressure in the combustion chamber furnace, and the temperature in the combustion chamber outlet, a color image of the combustion state is taken, and red, green and blue are obtained from the obtained color image. A three-component image consisting of each color component is created, the color system conversion is performed on the three-component image, and the characteristic parameters greatly related to the combustion state are extracted from the image after the color system conversion. Input process state quantities and feature parameters into the neural network. In the neural network, the combustion state is determined or evaluated by obtaining the degree of compatibility with a typical combustion state based on the input process state quantity and characteristic parameter. However, since the color image of the combustion state is captured without time delay, the determination or evaluation of the combustion state using the image has no time delay in practical use.
Further, in a preferred aspect of the present invention in which the obtained fitness is stochastically integrated to evaluate the combustion state, stochastically integrated processing is performed, so that, for example, due to flame fluctuation or combustion unevenness, Even if the image changes irregularly, reliable judgment or evaluation can be made.

【0020】さらに、この判定または評価結果を用いて
燃焼制御、例えば空気供給量、1次空気量および2次空
気量の割合、燃焼室内への注水量または燃料供給量など
の調整を行えば、前述のごとく、判定が時間遅れがなく
なされているので、燃焼状態に即応させて燃焼制御がな
し得る。すなわち、最適な燃焼制御がなし得る。
Further, if the combustion control is performed using the result of this judgment or evaluation, for example, the ratio of the air supply amount, the primary air amount and the secondary air amount, the water injection amount into the combustion chamber or the fuel supply amount is adjusted, As described above, the determination is made with no time delay, so that the combustion control can be performed by immediately responding to the combustion state. That is, optimal combustion control can be achieved.

【0021】[0021]

【実施例】以下、添付図面を参照しながら、本発明を実
施例に基づいて説明するが、本発明はかかる実施例のみ
に限定されるものではない。
DESCRIPTION OF THE PREFERRED EMBODIMENTS The present invention will now be described based on embodiments with reference to the accompanying drawings, but the present invention is not limited to such embodiments.

【0022】本発明の燃焼判定・制御方法に用いる燃焼
判定・制御装置の機能ブロック図を図1に示し、同判定
・制御装置Aは、カラー画像撮像手段10と、表色系変
換手段22と、特徴パラメータ抽出手段24と、プロセ
ス状態量入力処理手段32と、ニューラルネットワーク
手段42と、確率的統合処理手段44と、燃焼制御処理
手段46と、プロセス制御量出力処理手段34とを主要
部としてなる。
FIG. 1 shows a functional block diagram of a combustion determination / control apparatus used in the combustion determination / control method of the present invention. The determination / control apparatus A includes a color image pickup means 10 and a color system conversion means 22. , The characteristic parameter extracting means 24, the process state quantity input processing means 32, the neural network means 42, the stochastic integration processing means 44, the combustion control processing means 46, and the process control quantity output processing means 34 as main parts. Become.

【0023】カラー画像撮像手段10は燃焼を撮像する
ものであって、例えばカラーテレビカメラとされる。こ
のカラー画像撮像手段10により撮像されたカラー画像
は、信号ケーブルによりNTSCなどの複合カラー画像
信号、あるいはRGB3原色成分組合せ信号(以下、単
にRGB信号という)にて表色系変換手段22に入力さ
れる。
The color image pick-up means 10 picks up an image of combustion and is, for example, a color television camera. The color image picked up by the color image pick-up means 10 is input to the color system conversion means 22 as a composite color image signal such as NTSC or an RGB three primary color component combination signal (hereinafter simply referred to as RGB signal) through a signal cable. It

【0024】表色系変換手段22は入力された信号の表
色系の変換を行うものである。より具体的には、入力さ
れたカラー画像信号に対して次のような処理がなされ
る。まず、入力されたカラー画像信号をRGB画像メモ
リ(第1画像メモリ)に記憶する。入力された信号が複
合カラー画像信号の場合には、RGB信号に変換した
後、このRGB画像メモリに記憶する。ついで、RGB
画像メモリに記憶されたRGB表色系の画像データから
表色系の変換、例えばYIQ表色系への変換を行い、各
画素ごとに各成分値、例えば(Y,I,Q)を算出す
る。
The color system conversion means 22 converts the color system of the input signal. More specifically, the following processing is performed on the input color image signal. First, the input color image signal is stored in the RGB image memory (first image memory). When the input signal is a composite color image signal, it is converted into an RGB signal and then stored in this RGB image memory. Then RGB
The RGB color system image data stored in the image memory is converted to the color system, for example, the YIQ color system, and each component value, for example, (Y, I, Q) is calculated for each pixel. .

【0025】特徴パラメータ抽出手段24は、得られた
新しい表色系での成分値から1画面の燃焼状態を表す特
徴パラメータを抽出するものである。例えば、I,Qの
1画面当りの平均値を算出して、その値を特徴パラメー
タとして抽出するものである。これら抽出された特徴パ
ラメータの値は、プロセス状態量入力処理手段32から
のプロセス状態量とともにニューラルネットワーク手段
42に入力される。なお、特徴パラメータを抽出する際
には、より的確に燃焼状態を判断できるようにするため
に、火炎の領域のみを分離する前処理を行うのが好まし
い。この火炎の領域の分離は、例えば、輝度を表すY成
分値に対して閾値処理を施すことによりなされる。より
具体的には、Y成分値がある一定値以上の領域を火炎の
領域とし、一定値未満の領域をその他の背景領域として
処理するものである。
The characteristic parameter extracting means 24 extracts a characteristic parameter representing the combustion state of one screen from the obtained component values in the new color system. For example, an average value of I and Q per screen is calculated and the value is extracted as a characteristic parameter. The values of the extracted characteristic parameters are input to the neural network means 42 together with the process state quantity from the process state quantity input processing means 32. When extracting the characteristic parameter, it is preferable to perform a pre-processing for separating only the flame region so that the combustion state can be determined more accurately. The separation of the flame region is performed by, for example, performing threshold processing on the Y component value indicating the brightness. More specifically, an area having a Y component value equal to or larger than a certain value is set as a flame area, and an area having a Y component value less than the certain value is processed as another background area.

【0026】ここで、前記RGB表色系からYIQ表色
系への変換は、下記数1によりなされる。
Here, the conversion from the RGB color system to the YIQ color system is performed by the following expression 1.

【0027】[0027]

【数1】 [Equation 1]

【0028】プロセス状態量入力処理手段32は、燃焼
制御装置からプロセス信号として入力される燃焼室出口
2濃度、燃焼室炉内圧力、燃焼室出口温度等のプロセ
ス状態量の信号形態の処理を行い、燃焼判定・制御装置
Aの処理に適した信号に変換するものである。プロセス
状態量入力処理手段32は、例えば入力インターフェー
スとされる。
The process state quantity input processing means 32 processes the signal state of the process state quantity such as the combustion chamber outlet O 2 concentration, the combustion chamber furnace pressure, and the combustion chamber outlet temperature which are input as process signals from the combustion control device. It is performed and converted into a signal suitable for the processing of the combustion determination / control device A. The process state quantity input processing means 32 is, for example, an input interface.

【0029】ニューラルネットワーク手段42は、入力
されたプロセス状態量の値および特徴パラメータの値に
基づいて、典型的な燃焼状態との適合度を求めて、例え
ば燃焼悪化、燃焼適正、燃焼活発というような判定また
は評価を行うものである。そして、その判定または評価
結果は、確率的統合処理手段44に入力される。なお、
確率的統合処理手段44が設けられていない場合には、
判定または評価結果がそのまま出力される。
The neural network means 42 obtains the degree of compatibility with a typical combustion state based on the values of the process state quantity and the characteristic parameter that have been input, for example, combustion deterioration, proper combustion, and active combustion. It makes a simple judgment or evaluation. Then, the judgment or evaluation result is input to the stochastic integration processing means 44. In addition,
If the stochastic integration processing means 44 is not provided,
The judgment or evaluation result is output as it is.

【0030】ここで、このニューラルネットワーク手段
42は、例えば図2に示すように、入力層と中間層と出
力層とから構成され、そしてこの各層は複数の処理ユニ
ットから構成されている。この各処理ユニットは、次層
および前層の間で学習により定められる重み係数でもっ
て結合され、また各処理ユニットは前層からの入力の総
和をとる加算器と学習により定められる閾値を持った閾
値関数を有している。このニューラルネットワークの学
習においては、入力パターン(教師入力)と目標出力パ
ターン(教師出力)対が提示される。この提示の直後
に、ネットワークの出力と目標出力との間の差が減少す
るように、重みと閾値の調整がなされる。学習に際して
は、入力パターンと目標パターンの対の集合である学習
用集合を用い、ネットワークにはこれを繰返し提示す
る。この学習が終了すると、ネットワークの動作テスト
がなされる。
Here, the neural network means 42 is composed of an input layer, an intermediate layer and an output layer as shown in FIG. 2, and each layer is composed of a plurality of processing units. Each processing unit is combined with a weight coefficient determined by learning between the next layer and the previous layer, and each processing unit has an adder for summing the inputs from the previous layer and a threshold value determined by learning. It has a threshold function. In this learning of the neural network, an input pattern (teacher input) and a target output pattern (teacher output) pair is presented. Immediately after this presentation, the weights and thresholds are adjusted so that the difference between the network output and the target output is reduced. In learning, a learning set, which is a set of pairs of input patterns and target patterns, is used, and this is repeatedly presented to the network. When this learning is completed, the network operation test is performed.

【0031】これをより具体的に説明すると、この学習
においては、順伝播ステップと、その後に実行される逆
伝播ステップとがある。この順伝播ステップおよび逆伝
播ステップは、いずれも学習中にパターンの提示がなさ
れるたびに実行される。順伝播ステップは、ネットワー
クの入力層への入力パターンの提示で始まり、活性レベ
ルの計算が中間層を通じて順伝播していく間継続する。
それぞれの層の全ての処理ユニット(図2では○印で示
す)は、入力の総和を求め、閾値関数により出力を計算
する。それからユニットの出力層がネットワークの出力
を行う。
More specifically, this learning includes a forward propagation step and a back propagation step executed thereafter. Both the forward propagation step and the back propagation step are executed each time a pattern is presented during learning. The forward propagation step begins with the presentation of the input pattern to the input layer of the network and continues as the activity level calculation proceeds forward through the intermediate layers.
All the processing units in each layer (shown by circles in FIG. 2) sum the inputs and calculate the outputs by a threshold function. The output layer of the unit then outputs the network.

【0032】ついで、ネットワークの出力パターンと目
標出力パターンとの比較がなされ、それに差異があると
きに逆伝播ステップが開始される。逆伝播ステップで
は、各層のユニットの閾値と重み変化分の計算がなされ
るが、これを出力層から始めて中間層へと順番に逆方向
にたどっていく。この逆伝播ステップでは、ネットワー
クは観測された差異が減少されるように、重みと閾値と
の調整がなされる。
Then, the output pattern of the network is compared with the target output pattern, and when there is a difference, the back propagation step is started. In the back-propagation step, the threshold value of the unit of each layer and the weight change amount are calculated, and this is traced backward in order from the output layer to the intermediate layer. In this backpropagation step, the network is adjusted for weights and thresholds so that the observed differences are reduced.

【0033】このような学習がなされるので、ネットワ
ークからの出力パターンは、基本的には、最終的に目標
出力パターンに概ね一致するようになる。
As a result of such learning, the output pattern from the network basically basically matches the target output pattern.

【0034】確率的統合処理手段44は、カラー画像撮
像手段10による撮像が、覗き窓を通してなされるため
に、燃焼領域の全域を撮像することができず、そのた
め、例えば火炎の揺らぎや燃焼むらにより、時間の隔た
りがあまりない画像について異なった判定や評価なされ
るのを防ぐ処理を行うものである。この処理をより具体
的に説明すれば次のようになる。
The stochastic integration processing means 44 cannot take an image of the entire combustion region because the image pickup by the color image pickup means 10 is performed through the viewing window. Therefore, for example, due to fluctuations in flames or uneven combustion. , Processing for preventing different judgments and evaluations from being made for images that are not too far apart. This processing will be described more specifically as follows.

【0035】ニューラルネットワーク手段42の出力パ
ターンが、例えば燃焼悪化、燃焼適正、燃焼活発のそれ
ぞれのパターンとの適合度として出力されるため、ある
燃焼状態が2以上のパターン、例えば燃焼悪化、燃焼適
正の両パターンとも適合度がある閾値以上で出力される
場合がある。かかる状態に対して、確率的統合処理手段
44は、Dempster & Shaferの確率理論を用いて、複数
の支持信号に対する信頼度区間を計算し、適合度間のあ
いまいさの定量化を図って、最も信頼性の高いと判断さ
れる評価結果を出力する。
Since the output pattern of the neural network means 42 is output as the degree of conformity with the respective patterns of deterioration of combustion, combustion appropriateness, and combustion activation, a certain combustion state has two or more patterns, for example, combustion deterioration, combustion appropriateness. In some cases, both patterns may be output when the matching degree is equal to or higher than a certain threshold. For such a state, the probabilistic integration processing means 44 calculates reliability intervals for a plurality of support signals by using Dempster &Shafer's probability theory, and quantifies the ambiguity between the conformances, and The evaluation result that is judged to be highly reliable is output.

【0036】燃焼制御処理手段46は、前記燃焼状態の
評価結果に応じて、空気供給量、燃料供給量、燃焼室内
への注水量などのプロセス制御量を算出するものであ
る。
The combustion control processing means 46 calculates a process control amount such as an air supply amount, a fuel supply amount, and a water injection amount into the combustion chamber according to the result of the evaluation of the combustion state.

【0037】プロセス制御量出力処理手段34は、燃焼
制御装置へプロセス信号として出力される空気供給量、
燃料供給量、燃焼室内への注水量などのプロセス制御量
の信号形態の処理を行い、燃焼制御装置による処理に適
した信号に変換するものである。このプロセス制御量出
力処理手段46は、例えば出力インターフェースとされ
る。
The process control amount output processing means 34 is an air supply amount output as a process signal to the combustion control device,
The signal form of the process control amount such as the fuel supply amount and the water injection amount into the combustion chamber is processed and converted into a signal suitable for the process by the combustion control device. The process control amount output processing means 46 is, for example, an output interface.

【0038】なお、これら表色系変換手段22、特徴パ
ラメータ抽出手段24、ニューラルネットワーク手段4
2、確率的統合処理手段44および燃焼制御処理手段4
6は、具体的には、例えばボードコンピュータに前記機
能に対応させたプログラムを格納することにより実現さ
れる。
The color system conversion means 22, the characteristic parameter extraction means 24, and the neural network means 4 are used.
2, stochastic integrated processing means 44 and combustion control processing means 4
6 is specifically realized by, for example, storing a program corresponding to the above functions in a board computer.

【0039】以下、より具体的な実施例に基づいて本発
明をより詳細に説明する。
Hereinafter, the present invention will be described in more detail based on more specific examples.

【0040】実施例 本実施例に用いられる燃焼判定・制御装置の概略図を図
3に示す。同判定・制御装置Aは、ケーブルを介して接
続されているカラーテレビカメラ10で撮像されたカラ
ー画像を処理して燃焼状態の評価および燃焼制御を行う
ものである。
Example FIG. 3 shows a schematic diagram of a combustion determination / control device used in this example. The determination / control device A processes a color image captured by the color television camera 10 connected via a cable to evaluate the combustion state and control the combustion.

【0041】カラーテレビカメラ10の構成については
特に限定はなく、従来よりカラー画像の撮像のために用
いられている各種カラーテレビカメラとすることができ
る。
The configuration of the color television camera 10 is not particularly limited, and various color television cameras conventionally used for capturing color images can be used.

【0042】燃焼判定・制御装置Aは、データバスによ
り接続されている、プロセス状態量入力処理手段32お
よびプロセス制御量出力処理手段34として機能するプ
ロセス信号入出力処理部30と、表色系変換手段22お
よび特徴パラメータ抽出手段24として機能する画像処
理部20と、ニューラルネットワーク手段42、確率的
統合処理手段44および燃焼制御処理手段46として機
能する人工知能処理部40とを有している。そのため、
画像処理部20は、例えば画像入力ボードと第1画像メ
モリボード(RGB画像メモリ)と高速演算ボードと第
2画像メモリボードと画像処理CPUボードとを有し、
人工知能処理部40は、例えばニューラルネットワーク
と確率的統合処理部と燃焼制御処理部とを有している。
なお、試験段階におけるプログラムの修正等の便宜のた
めに、この燃焼状態判定・制御装置Aの人工知能処理部
40には、開発支援コンピュータ50が接続されるよう
にされている。
The combustion determination / control device A is connected by a data bus and functions as a process state quantity input processing means 32 and a process control quantity output processing means 34, and a process signal input / output processing section 30 and color system conversion. The image processing unit 20 functions as the unit 22 and the characteristic parameter extracting unit 24, and the artificial intelligence processing unit 40 functions as the neural network unit 42, the stochastic integration processing unit 44, and the combustion control processing unit 46. for that reason,
The image processing unit 20 includes, for example, an image input board, a first image memory board (RGB image memory), a high-speed arithmetic board, a second image memory board, and an image processing CPU board.
The artificial intelligence processing unit 40 has, for example, a neural network, a stochastic integration processing unit, and a combustion control processing unit.
A development support computer 50 is connected to the artificial intelligence processing unit 40 of the combustion state determination / control device A for convenience of modifying the program in the test stage.

【0043】しかして、カラーテレビカメラ10からの
カラー画像は画像入力ボードでRGB表色系の色度値に
変換された後、第1画像メモリボードに格納され、つい
で高速演算ボードによりRGB表色系からYIQ表色系
への変換されて、その成分値が算出される。ついでその
成分値に基づいて特徴パラメータが抽出される。この抽
出された特徴パラメータは第2画像メモリに格納され
る。なお、ここでは特徴パラメータは、Y、I、Qのそ
れぞれの成分値とされている。さらに、この抽出された
特徴パラメータの値はプロセス状態量、例えば燃焼室出
口温度とともに、画像処理CPUボードにより人工知能
処理部40のニューラルネットワークに入力される。
Thus, the color image from the color television camera 10 is converted into the chromaticity value of the RGB color system by the image input board, stored in the first image memory board, and then the RGB color system is displayed by the high speed operation board. The system is converted to the YIQ color system, and the component value thereof is calculated. Then, the characteristic parameter is extracted based on the component value. The extracted characteristic parameter is stored in the second image memory. It should be noted that here, the characteristic parameters are the respective component values of Y, I, and Q. Further, the value of the extracted characteristic parameter is input to the neural network of the artificial intelligence processing unit 40 by the image processing CPU board together with the process state quantity, for example, the combustion chamber outlet temperature.

【0044】ニューラルネットワークは、入力された特
徴パラメータの値およびプロセス状態量に基づいて燃焼
悪化、燃焼適正、燃焼活発等の評価を行う(図4参
照)。図5に、その評価結果の一例を示す。図5から明
らかなように、燃焼悪化と燃焼活発という異なった評価
結果になっているのがわかる。そのため、Dempster &Sh
aferの確率理論を用いて確率的統合処理を行う。すなわ
ち、燃焼悪化のときの適合度、燃焼適正のときの適合度
および燃焼活発のときの適合度をそれぞれfb,fs,f
aとおき、また統合適合度をそれぞれfbA,fBa…fbsA
とおくと、統合適合度fxYおよびfxyZは各々の下記式
により求められる。 fxY=(1−fx)・fy/(1−fx・fy) fxyZ=(1−fx)・fyZ/(1−fx・fyZ
The neural network evaluates deterioration of combustion, appropriateness of combustion, active combustion, etc. based on the value of the input characteristic parameter and the process state quantity (see FIG. 4). FIG. 5 shows an example of the evaluation result. As is apparent from FIG. 5, different evaluation results are obtained, that is, combustion deterioration and combustion activation. Therefore, Dempster & Sh
Probabilistic integration is performed using afer's probability theory. That is, the fitness when the combustion deteriorates, the fitness when the combustion is appropriate, and the fitness when the combustion is active are f b , f s , and f, respectively.
a , and the integrated fitness values are f bA , f Ba ... f bsA , respectively.
In other words , the integrated fitness values f xY and f xyZ are calculated by the following equations. f xY = (1-f x ) · f y / (1-f x · f y) f xyZ = (1-f x) · f yZ / (1-f x · f yZ)

【0045】ここに、 fbA:fb,faからの燃焼活発適合度 fBa:fb,faからの燃焼悪化適合度 ・ ・ ・ fbsA:fb,fs,faからの燃焼活発適合度 x,y,z:a,b,cのいずれかであって、互いに異
なるものである。X,Y,Z:A,B,Cのいずれかで
あって、互いに異なるものである。
Where f bA is the fitness for combustion activation from f b , f a f Ba is the fitness for worsening combustion from f b , f a ··· f bsA : From f b , f s , f a Combustion active fitness x, y, z: a, b, or c, which are different from each other. X, Y, Z: Any of A, B and C, which are different from each other.

【0046】前記統合適合度に関する式により、図5の
場合の燃焼状態を判定する。図5から、fbは0.16
と読み取れ、またfaは0.94と読み取れる。これら
の値を前記式に代入して計算すると、統合適合度fbA
Baはそれぞれ0.929および0.011となる。し
たがって、燃焼活発と評価される。
The combustion state in the case of FIG. 5 is determined by the equation relating to the integrated fitness. From FIG. 5, f b is 0.16
And f a can be read as 0.94. Substituting these values into the above equation and calculating, the integrated fitness f bA ,
f Ba is 0.929 and 0.011, respectively. Therefore, it is evaluated that combustion is active.

【0047】次に、ニューラルネットワークの評価結果
と、燃焼室の特性変化との対応関係につき調査した。そ
の結果を図6に示す。図6より、燃焼悪化との信号が出
力された後には燃焼室出口O2濃度増大およびCO濃度
増大が認められ、また燃焼活発との信号が出力された後
には燃焼室出口O2濃度低下およびCO濃度増大が認め
られる。したがって、ニューラルネットワークによる評
価と実際の燃焼とがマッチしているのがわかる。また、
特性変化の計測値よりも先行して燃焼状態が判定されて
いるので、実用上時間遅れなく燃焼状態が判定されてい
るといえる。
Next, the correspondence between the evaluation result of the neural network and the characteristic change of the combustion chamber was investigated. The result is shown in FIG. From FIG. 6, an increase in the O 2 concentration and CO concentration at the combustion chamber outlet is recognized after the signal indicating that combustion has deteriorated, and a decrease in the O 2 concentration at the combustion chamber outlet after the signal indicating that combustion is active and An increase in CO concentration is observed. Therefore, it can be seen that the evaluation by the neural network matches the actual combustion. Also,
Since the combustion state is judged prior to the measured value of the characteristic change, it can be said that the combustion state is judged practically without time delay.

【0048】なお、このニューラルネットワークの学習
は、この人工知能処理部40に接続されている開発支援
コンピュータ50を用いて行った。以下、その学習内容
について説明する。
The learning of the neural network was performed using the development support computer 50 connected to the artificial intelligence processing unit 40. The details of the learning will be described below.

【0049】ここで用いたニューラルネットワークは、
入力層、中間層および出力層からなる階層的ニューラル
ネットワークで構成される。中間層の各セルは、全ての
入力層と接続されている。また、出力層の各セルも全て
の中間層のセルと接続されている。そして、各セルの出
力値Oiは、下記式のジグモイド関数で表される。 Oi=1/(1+exp(−Σωijj))
The neural network used here is
It consists of a hierarchical neural network consisting of an input layer, an intermediate layer and an output layer. Each cell in the middle layer is connected to all input layers. Each cell in the output layer is also connected to all cells in the intermediate layer. The output value O i of each cell is represented by the Zigmoid function of the following equation. O i = 1 / (1 + exp (-Σω ij O j ))

【0050】ここで、ωijはセルjからセルiへの結合
係数であり、教示データを用いた学習により値が定めら
れる。
Here, ω ij is a coupling coefficient from cell j to cell i, and its value is determined by learning using teaching data.

【0051】学習には、バックプロパゲーション法を用
い、教示データTiが与えられると、ωijの修正量は下
記式で求められる。 Δωij(k)=αδji+βΔωij(k−1) δj=(Ti−Oi)Oi(1−Oi
The back propagation method is used for learning, and when the teaching data T i is given, the correction amount of ω ij can be obtained by the following equation. Δω ij (k) = αδ j O i + β Δω ij (k−1) δ j = (T i −O i ) O i (1−O i ).

【0052】ここで、kは繰返し回数を示す。Here, k represents the number of repetitions.

【0053】また、燃焼状態を判定するためのニューラ
ルネットワークへの入力として、前述したように、画像
処理部20の出力Y,I,Qの成分値(特徴パラメー
タ)と燃焼室出口ガス温度Tとを用いた。
Further, as described above, the component values (characteristic parameters) of the outputs Y, I, Q of the image processing unit 20 and the combustion chamber outlet gas temperature T are input to the neural network for determining the combustion state. Was used.

【0054】なお、画像処理部20の出力および燃焼室
出口ガス温度の時間的な変化も重要な情報であるため、
各々1秒ごとの値を30点計測し、それらもニューラル
ネットワークへの入力とした。
Note that the output of the image processing unit 20 and the temporal change in the combustion chamber outlet gas temperature are also important information.
The value of each 1 second was measured at 30 points, which were also input to the neural network.

【0055】学習のための教示用データ群として下記に
示す構成の時系列データを、運転後のトレンドデータ
(図6参照)のCO値、O2値から探索し、燃焼悪化、
燃焼適正、燃焼活発の3種について、合計73パターン
を抽出し、ニューラルネットワークの教示を3000回
繰り返した。その結果、得られたニューラルネットワー
クの教示パターンに対するエラーは0.59%となっ
た。
As a teaching data group for learning, time series data having the structure shown below is searched from the CO value and O 2 value of the trend data after operation (see FIG. 6), and combustion deterioration is caused.
A total of 73 patterns were extracted for the three types of proper combustion and active combustion, and the teaching of the neural network was repeated 3000 times. As a result, the error for the obtained neural network teaching pattern was 0.59%.

【0056】教示データ例 (1)ニューラルネットワーク入力データパターン NI1 :Y11,Y12…Y130,I11,I12…I130
Q11,Q12…Q130,T11,T12…T130 ・ ・ ・ NIi :Yi1,Yi2…Yi30,Ii1,Ii2…Ii30
Qi1,Qi2…Qi30,Ti1,Ti2…Ti30 ・ ・ ・ NI73:Y731,Y732…Y7330,I731,I732
7330,Q731,Q732…Q7330,T731,T732…T7330
Teaching data example (1) Neural network input data pattern NI 1 : Y 11 , Y 12 ... Y 130 , I 11 , I 12 ... I 130 ,
Q 11, Q 12 ... Q 130 , T 11, T 12 ... T 130 · · · NI i: Y i1, Y i2 ... Y i30, I i1, I i2 ... I i30,
Q i1 , Q i2 ... Q i30 , T i1 , T i2 ... T i30 ... NI 73 : Y 731 , Y 732 ... Y 7330 , I 731 , I 732 ...
I 7330 , Q 731 , Q 732 ... Q 7330 , T 731 , T 732 ... T 7330

【0057】(2)ニューラルネットワーク出力データ
パターン NO1 :燃焼悪化 ・ ・ ・ NOi :燃焼適正 ・ ・ ・ NO73:燃焼活発
(2) Neural network output data
Pattern NO 1 : Deterioration of combustion ··· NO i : Proper combustion · · · NO 73 : Active combustion

【0058】しかして、燃焼制御処理部では、COの発
生を抑制するために、前記燃焼状態の評価結果に応じ
て、例えば、供給空気量、燃料供給量、燃焼室内への注
水量に対して、次のような処理がなされる。
Therefore, in the combustion control processing unit, in order to suppress the generation of CO, for example, with respect to the supply air amount, the fuel supply amount, and the water injection amount into the combustion chamber, according to the evaluation result of the combustion state. The following processing is performed.

【0059】(1)燃焼悪化と判定された場合 燃焼が悪化した場合には、急冷により反応が凍結され、
かつ高温での平衡組成ガス排出されることによりCOが
発生するので、次の処理がなされる。
(1) When it is determined that combustion deteriorates When combustion deteriorates, the reaction is frozen by quenching,
Further, since CO is generated by discharging the equilibrium composition gas at a high temperature, the following process is performed.

【0060】1次空気量 1次空気量を増加する。これにより層燃焼を一時的に活
発とし、層温度および燃焼室温度を上昇させる。
Primary air amount The primary air amount is increased. As a result, bed combustion is temporarily activated, and bed temperature and combustion chamber temperature are raised.

【0061】2次空気量 2次空気量を減少する。これにより燃焼室の冷却が抑え
られ、燃焼室温度が上昇する。
Secondary air amount The secondary air amount is reduced. Thereby, cooling of the combustion chamber is suppressed and the temperature of the combustion chamber rises.

【0062】燃料供給量 燃料供給量を増加する。これにより燃料減少による燃焼
悪化が回避される。
Fuel supply amount The fuel supply amount is increased. As a result, deterioration of combustion due to fuel reduction is avoided.

【0063】燃焼室内への注水量 燃焼室内への注水量を増加する。これにより下記に示す
水谷のCO酸化反応式における水分項が増加してCOの
酸化が促進され、CO濃度が低下する。 -d〔CO〕/dt=1.2x1011〔CO〕〔O20.3〔H2O〕0.5exp(-
8050/T)
Amount of Water Injection into Combustion Chamber The amount of water injection into the combustion chamber is increased. As a result, the water term in the Mizutani CO oxidation reaction formula shown below increases, the oxidation of CO is promoted, and the CO concentration decreases. -d [CO] /dt=1.2x10 11 [CO] [O 2 ] 0.3 [H 2 O] 0.5 exp (-
8050 / T)

【0064】(2)燃焼活発と判定された場合 燃焼が活発になった場合には、混合が一様でなく、局所
的に燃料過濃ガス塊が排出されることによりCOが発生
するので、次の処理がさなれる。
[0064](2) When it is determined that combustion is active  When combustion becomes active, the mixing is uneven and local
CO is generated by exhausting fuel rich gas lumps
Therefore, the following processing can be performed.

【0065】1次空気量 1次空気量を増加する。これにより、ガス混合を促進す
るとともに、O2不足を解消する。
Primary air amount Increase the primary air amount. This promotes gas mixing and eliminates O 2 deficiency.

【0066】2次空気量 2次空気量を増加する。これにより燃焼室でのガス混合
を促進するとともに、O2不足を解消する。
Secondary air amount The secondary air amount is increased. This promotes gas mixing in the combustion chamber and eliminates O 2 deficiency.

【0067】燃料供給量 燃料供給量を減少する。これにより適正燃料量に移行さ
せる。
Fuel supply amount The fuel supply amount is reduced. As a result, the amount of fuel is changed to an appropriate amount.

【0068】燃焼室内への注水量 燃焼室内への注水量を増加する。これにより前記CO酸
化反応式における水分項が増加してCOの酸化が促進さ
れ、COの濃度が低下する。
Amount of Water Injection into Combustion Chamber The amount of water injection into the combustion chamber is increased. As a result, the water term in the CO oxidation reaction formula increases, the oxidation of CO is promoted, and the CO concentration decreases.

【0069】次に、前記要領に従って、例えば確率的統
合処理部の燃焼悪化あるいは燃焼活発の評価に対して、
2次空気量を図6(d)に示すように、減少あるいは増
加させると、図6(b)に示すように、COの発生が抑
制されるのがわかる。
Next, according to the above-mentioned procedure, for example, for evaluation of combustion deterioration or combustion activation of the stochastic integration processing unit,
It can be seen that when the secondary air amount is decreased or increased as shown in FIG. 6D, the generation of CO is suppressed as shown in FIG. 6B.

【0070】[0070]

【発明の効果】以上説明してきたように、本発明におい
ては、燃焼室出口温度および燃焼室出口O2濃度、燃焼
室炉内圧力などのプロセス状態量とともに、燃焼状態の
カラー画像を画像処理して特徴パラメータを抽出し、そ
れらの値をニューラルネットワークに入力して燃焼状態
の判定または評価を行っているので、実質上、時間遅れ
を生じさせることなく燃焼状態の的確な判定または評価
がなし得るという優れた効果が得られる。
As described above, in the present invention, the color image of the combustion state is image-processed together with the process state quantities such as the temperature of the combustion chamber outlet, the concentration of O 2 of the combustion chamber outlet, the pressure in the combustion chamber furnace and the like. The characteristic parameters are extracted by inputting them into a neural network to determine or evaluate the combustion state, so that the combustion state can be accurately determined or evaluated substantially without causing a time delay. That is an excellent effect.

【0071】本発明の好ましい態様においては、判定ま
たは評価結果を確率的に統合処理して燃焼状態を判定ま
たは評価しているので、火炎の揺らぎや燃焼むらにより
短時間の間に画像が不規則的に変動しても、かかる変動
に影響されずに燃焼状態を的確に判定または評価できる
という優れた効果が得られる。
In the preferred embodiment of the present invention, since the judgment or evaluation results are stochastically integrated to judge or evaluate the combustion state, the image is irregular in a short time due to flame fluctuation or combustion unevenness. Even if the fluctuations occur, it is possible to obtain an excellent effect that the combustion state can be accurately determined or evaluated without being affected by the fluctuations.

【0072】さらに、本発明による燃焼制御において
は、前記判定または評価に応じて、空気供給量、1次空
気と2次空気と比率、燃焼室内への注水量、燃料供給量
等のプロセス制御量の調整を行っているので、燃焼状態
の変化に即応でき、そのためCOの抑制等が図られた低
公害燃焼を可能とし、大気汚染が防止されるという優れ
た効果が得られる。
Further, in the combustion control according to the present invention, the process control amount such as the air supply amount, the ratio of the primary air and the secondary air, the water injection amount into the combustion chamber, the fuel supply amount, etc. is determined according to the judgment or evaluation. Since it is adjusted, it is possible to quickly respond to changes in the combustion state, and therefore, low-pollution combustion with suppression of CO and the like is possible, and an excellent effect of preventing air pollution is obtained.

【図面の簡単な説明】[Brief description of drawings]

【図1】本発明の燃焼状態判定・制御方法に用いる判定
・制御装置の機能ブロック図である。
FIG. 1 is a functional block diagram of a determination / control device used in a combustion state determination / control method of the present invention.

【図2】本発明に用いられるニューラルネットワークの
説明図である。
FIG. 2 is an explanatory diagram of a neural network used in the present invention.

【図3】本発明の実施例にかかわる燃焼状態判定・制御
装置のブロック図である。
FIG. 3 is a block diagram of a combustion state determination / control device according to an embodiment of the present invention.

【図4】実施例におけるニューラルネットワークの説明
図である。
FIG. 4 is an explanatory diagram of a neural network according to the embodiment.

【図5】実施例における評価結果の一例を示すグラフで
ある。
FIG. 5 is a graph showing an example of evaluation results in the example.

【図6】実施例における評価結果と燃焼特性との関係を
示すグラフであって、同(a)はニューラルネットワー
クの出力、同(b)はCO濃度、同(c)はO2濃度、
同(d)は2次空気量を示す。
FIG. 6 is a graph showing the relationship between the evaluation results and the combustion characteristics in Examples, where (a) is the output of the neural network, (b) is the CO concentration, and (c) is the O 2 concentration,
The same (d) shows the amount of secondary air.

【符号の説明】[Explanation of symbols]

10 カラー画像撮像手段、カラーテレビカメ
ラ 20 画像処理部 22 表色系変換手段 24 特徴パラメータ抽出手段 30 プロセス信号入出力処理部 32 プロセス状態量入力処理手段 34 プロセス制御量出力処理手段 40 人工知能処理部 42 ニューラルネットワーク手段 44 確率的統合処理手段 46 燃焼制御処理部 50 開発支援コンピュータ A 燃焼判定・制御装置
10 Color Image Capturing Means, Color Television Camera 20 Image Processing Unit 22 Color System Converting Unit 24 Characteristic Parameter Extracting Unit 30 Process Signal Input / Output Processing Unit 32 Process State Quantity Input Processing Means 34 Process Control Quantity Output Processing Means 40 Artificial Intelligence Processing Unit 42 Neural Network Means 44 Stochastic Integration Processing Means 46 Combustion Control Processing Unit 50 Development Support Computer A Combustion Judgment / Control Device

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 G05B 23/02 T 7531−3H 301 T 7531−3H G06F 15/18 550 E 8837−5L G06T 1/00 7/00 (72)発明者 黒崎 泰充 明石市川崎町1番1号 川崎重工業株式会 社明石工場内 (72)発明者 宮本 裕一 明石市川崎町1番1号 川崎重工業株式会 社明石工場内 (72)発明者 小倉 一樹 明石市川崎町1番1号 川崎重工業株式会 社明石工場内 (72)発明者 月本 功 明石市川崎町1番1号 川崎重工業株式会 社明石工場内 (72)発明者 藤山 博 神戸市中央区東川崎町1丁目1番3号 川 崎重工業株式会社神戸本社内 (72)発明者 豊嶋 則雄 神戸市中央区東川崎町1丁目1番3号 川 崎重工業株式会社神戸本社内 (72)発明者 宮崎 英隆 明石市川崎町1番1号 川崎重工業株式会 社明石工場内 (72)発明者 森 芳信 明石市川崎町1番1号 川崎重工業株式会 社明石工場内 (72)発明者 井上 基広 明石市川崎町1番1号 川崎重工業株式会 社明石工場内─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical display location G05B 23/02 T 7531-3H 301 T 7531-3H G06F 15/18 550 E 8837-5L G06T 1 / 00 7/00 (72) Inventor Yasumitsu Kurosaki 1-1 Kawasakicho, Akashi-shi Kawasaki Heavy Industries Ltd. Akashi factory (72) Inventor Yuichi Miyamoto 1-1 Kawasaki-cho Akashi-shi Kawasaki Heavy Industries Ltd. Akashi factory (72) Kazuki Ogura 1-1 Kawasaki-cho, Akashi-shi, Kawasaki Heavy Industries Ltd. Akashi factory (72) Isao Tsukimoto 1-1 Kawasaki-cho, Akashi-shi Kawasaki Heavy Industries Ltd. Akashi factory (72) Inventor Hiroshi Fujiyama 1-3 1-3 Higashikawasaki-cho, Chuo-ku, Kobe-shi Kawasaki Heavy Industries, Ltd. Kobe headquarters (72) Inventor Norio Toyoshima 1-3-3 Higashi-kawasaki-cho, Chuo-ku, Kobe Kawasaki Heavy Industries, Ltd. Kobe Head Office (72) Inventor Hidetaka Miyazaki 1-1 Kawasaki-cho, Akashi-shi Kawasaki Heavy Industries Ltd. Akashi Factory (72) Inventor Yoshinobu Mori 1-1 Kawasaki-cho, Akashi-shi Kawasaki Heavy Industries Ltd. In-house Akashi Factory (72) Inventor Motohiro Inoue 1-1 Kawasaki-cho Akashi-shi Kawasaki Heavy Industries Stock Company In-house Akashi Factory

Claims (12)

【特許請求の範囲】[Claims] 【請求項1】 プロセス状態量を計測する手順と、燃焼
状態をカラー画像で撮像する手順と、得られたカラー画
像を画像処理して赤成分、緑成分および青成分の3成分
画像に分ける手順と、得られた赤成分、緑成分および青
成分からなる3成分画像の表色系の変換を行う手順と、
前記表色系変換後の画像から燃焼状態に大きくかかわっ
ている特徴パラメータを抽出する手順と、抽出された特
徴パラメータおよびプロセス状態量をニューラルネット
ワークの入力として用い、典型的な燃焼状態との適合度
を求める手順とを含んでなることを特徴とするカラー画
像を利用した燃焼判定方法。
1. A procedure of measuring a process state quantity, a procedure of capturing a combustion state by a color image, and a procedure of image-processing the obtained color image to divide it into a three-component image of a red component, a green component and a blue component. And a procedure for converting the color system of the obtained three-component image consisting of the red component, the green component and the blue component,
A procedure for extracting a characteristic parameter greatly related to a combustion state from the image after the color system conversion, and using the extracted characteristic parameter and process state quantity as an input of a neural network, the compatibility with a typical combustion state And a combustion determination method using a color image.
【請求項2】 前記プロセス状態量が、燃焼室出口O2
濃度、燃焼室炉内圧力、または燃焼室出口温度であるこ
とを特徴とする請求項1記載のカラー画像を利用した燃
焼判定方法。
2. The process state quantity is the combustion chamber outlet O 2
The combustion determination method using a color image according to claim 1, wherein the concentration, the combustion chamber internal pressure, or the combustion chamber outlet temperature is used.
【請求項3】 撮像されたカラー画像から火炎の領域を
分離する手順が付加されてなることを特徴とする請求項
1または2記載のカラー画像を利用した燃焼判定方法。
3. The combustion determination method using a color image according to claim 1, wherein a procedure for separating a flame region from a captured color image is added.
【請求項4】 前記適合度を確率的に統合処理して燃焼
状態を評価する手順が付加されてなることを特徴とする
請求項1、2または3記載のカラー画像を利用した燃焼
判定方法。
4. The combustion determination method using a color image according to claim 1, wherein a procedure for evaluating the combustion state by stochastically integrating the compatibility is added.
【請求項5】 請求項1、2、3または4記載の燃焼判
定方法による燃焼判定または評価結果を用いて燃焼制御
がなされることを特徴とするカラー画像を利用した燃焼
制御方法。
5. A combustion control method using a color image, characterized in that combustion control is performed using a combustion determination or evaluation result by the combustion determination method according to claim 1.
【請求項6】 前記燃焼制御が、空気供給量、1次空気
量および2次空気量の割合、燃焼室内への注水量または
燃料供給量を調整することによりなされることを特徴と
する請求項5記載のカラー画像を利用した燃焼制御方
法。
6. The combustion control is performed by adjusting a ratio of an air supply amount, a primary air amount and a secondary air amount, a water injection amount into a combustion chamber or a fuel supply amount. A combustion control method using the color image according to item 5.
【請求項7】 プロセス状態量入力処理手段とカラー画
像撮像手段と表色系変換手段と特徴パラメータ抽出手段
とニューラルネットワーク手段とを備え、前記表色系変
換手段により、撮像された画像の表色系の変換がなさ
れ、前記特徴パラメータ抽出手段により、変換された表
色系の成分値に基づいて特徴パラメータが抽出され、前
記ニューラルネットワーク手段により、前記プロセス状
態量入力手段からのプロセス状態量および特徴パラメー
タに基づいて、典型的な燃焼状態との適合度が算出され
て燃焼状態が評価されることを特徴とするカラー画像を
利用した燃焼判定装置。
7. A process state quantity input processing means, a color image capturing means, a color system conversion means, a characteristic parameter extraction means, and a neural network means, wherein the color system conversion means expresses the color of the image captured. The system is converted, the characteristic parameter is extracted by the characteristic parameter extraction means based on the converted component value of the color system, and the process state quantity and the characteristic from the process state quantity input means are extracted by the neural network means. A combustion determination device using a color image, characterized in that the degree of compatibility with a typical combustion state is calculated based on the parameters to evaluate the combustion state.
【請求項8】 プロセス状態量入力処理手段とカラー画
像撮像手段と表色系変換手段と特徴パラメータ抽出手段
とニューラルネットワーク手段と確率的統合処理手段と
を備え、前記表色系変換手段により、撮像された画像の
表色系の変換がなされ、前記特徴パラメータ抽出手段に
より、変換された表色系の成分値に基づいて特徴パラメ
ータが抽出され、前記ニューラルネットワーク手段によ
り、前記プロセス状態量入力手段からのプロセス状態量
および特徴パラメータに基づいて、典型的な燃焼状態と
の適合度が算出され、前記確率的統合処理手段により、
算出された適合度が確率的に処理されて燃焼状態が評価
されることを特徴とするカラー画像を利用した燃焼判定
装置。
8. A process state quantity input processing means, a color image capturing means, a color system conversion means, a characteristic parameter extraction means, a neural network means, and a stochastic integration processing means, wherein the color system conversion means captures an image. The converted color system of the image is converted, the characteristic parameters are extracted by the characteristic parameter extraction means based on the converted component values of the color system, and the neural network means outputs the process state quantity from the process state quantity input means. Based on the process state quantity and the characteristic parameter of, the compatibility with a typical combustion state is calculated, by the stochastic integration processing means,
A combustion determination device using a color image, wherein the calculated conformity is stochastically processed to evaluate a combustion state.
【請求項9】 前記プロセス状態量が、燃焼室出口O2
濃度、燃焼室炉内圧力、または燃焼室出口温度であるこ
とを特徴とする請求項7または8記載のカラー画像を利
用した燃焼判定装置。
9. The process state quantity is a combustion chamber outlet O 2
The combustion determination device using a color image according to claim 7 or 8, wherein the concentration, the internal pressure of the combustion chamber, or the outlet temperature of the combustion chamber.
【請求項10】 プロセス状態量入力処理手段とカラー
画像撮像手段と表色系変換手段と特徴パラメータ抽出手
段とニューラルネットワーク手段と燃焼制御処理手段と
プロセス制御量出力処理手段とを備え、前記表色系変換
手段により、撮像された画像の表色系の変換がなされ、
前記特徴パラメータ抽出手段により、変換された表色系
の成分値に基づいて特徴パラメータが抽出され、前記ニ
ューラルネットワーク手段により、前記プロセス状態量
入力手段からのプロセス状態量および特徴パラメータに
基づいて、典型的な燃焼状態との適合度が算出されて燃
焼状態が評価され、前記燃焼制御処理手段により、前記
燃焼状態の評価に基づいてプロセス制御量が算出され、
前記プロセス制御量出力処理手段により、前記プロセス
制御量に対し所定の処理がなされて出力されることを特
徴とするカラー画像を利用した燃焼制御装置。
10. A process state quantity input processing means, a color image pickup means, a color system conversion means, a characteristic parameter extraction means, a neural network means, a combustion control processing means, and a process control quantity output processing means The system conversion means converts the color system of the captured image,
The characteristic parameter extraction means extracts characteristic parameters based on the converted component values of the color system, and the neural network means extracts typical characteristic values based on the process state quantity and the characteristic parameter from the process state quantity input means. The degree of compatibility with a typical combustion state is calculated to evaluate the combustion state, the combustion control processing means calculates a process control amount based on the evaluation of the combustion state,
A combustion control device using a color image, wherein the process control amount output processing means performs a predetermined process on the process control amount and outputs the processed process control amount.
【請求項11】 プロセス状態量入力処理手段とカラー
画像撮像手段と表色系変換手段と特徴パラメータ抽出手
段とニューラルネットワーク手段と確率的統合処理手段
と燃焼制御処理手段とプロセス制御量出力処理手段とを
備え、前記表色系変換手段により、撮像された画像の表
色系の変換がなされ、前記特徴パラメータ抽出手段によ
り、変換された表色系の成分値に基づいて特徴パラメー
タが抽出され、前記ニューラルネットワーク手段によ
り、前記プロセス状態量入力手段からのプロセス状態量
および特徴パラメータに基づいて、典型的な燃焼状態と
の適合度が算出され、前記確率的統合処理手段により、
算出された適合度が確率的に処理されて燃焼状態が評価
され、前記燃焼制御処理手段により、前記燃焼状態の評
価に基づいてプロセス制御量が算出され、前記プロセス
制御量出力処理手段により、前記プロセス制御量に対し
所定の処理がなされて出力されることを特徴とするカラ
ー画像を利用した燃焼制御装置。
11. A process state quantity input processing means, a color image pickup means, a color system conversion means, a characteristic parameter extraction means, a neural network means, a stochastic integration processing means, a combustion control processing means, and a process control quantity output processing means. The colorimetric system conversion means, the colorimetric system of the captured image is converted, the characteristic parameter extraction means, the characteristic parameter is extracted based on the converted colorimetric component value, Based on the process state quantity and the characteristic parameter from the process state quantity input means by the neural network means, the compatibility with a typical combustion state is calculated, and by the stochastic integration processing means,
The calculated compatibility is stochastically processed to evaluate the combustion state, the combustion control processing means calculates a process control amount based on the evaluation of the combustion state, and the process control amount output processing means A combustion control device using a color image, wherein a predetermined process is performed on a process control amount and the process control amount is output.
【請求項12】 前記プロセス状態量が、燃焼室出口O
2濃度、燃焼室炉内圧力、または燃焼室出口温度であ
り、前記プロセス制御量が、空気供給量、1次空気量お
よび2次空気量の割合、燃焼室内への注水量または燃料
供給量に関するものであることを特徴とする請求項10
または11記載のカラー画像を利用した燃焼制御装置。
12. The combustion chamber outlet O
2 concentration, combustion chamber furnace pressure, or combustion chamber outlet temperature, wherein the process control amount relates to the ratio of the air supply amount, the primary air amount and the secondary air amount, the water injection amount or the fuel supply amount into the combustion chamber It is a thing, It is characterized by the above-mentioned.
Alternatively, a combustion control device using the color image described in 11 above.
JP6204275A 1994-08-04 1994-08-04 Combustion determination / control method and determination / control device using color image Expired - Lifetime JP2963009B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6204275A JP2963009B2 (en) 1994-08-04 1994-08-04 Combustion determination / control method and determination / control device using color image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6204275A JP2963009B2 (en) 1994-08-04 1994-08-04 Combustion determination / control method and determination / control device using color image

Publications (2)

Publication Number Publication Date
JPH0849845A true JPH0849845A (en) 1996-02-20
JP2963009B2 JP2963009B2 (en) 1999-10-12

Family

ID=16487788

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6204275A Expired - Lifetime JP2963009B2 (en) 1994-08-04 1994-08-04 Combustion determination / control method and determination / control device using color image

Country Status (1)

Country Link
JP (1) JP2963009B2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7952064B2 (en) * 2006-11-29 2011-05-31 Abb Research Ltd Device and method for processing and/or analyzing image information representing radiation
CN109882883A (en) * 2019-03-01 2019-06-14 北京慧辰资道资讯股份有限公司 A kind of method and device based on artificial intelligence optimization's boiler fired coal efficiency
JP2019219147A (en) * 2018-06-22 2019-12-26 中国電力株式会社 Machine learning device and combustion state determination device
JP2020112332A (en) * 2019-01-16 2020-07-27 東京瓦斯株式会社 Method for providing diagnostic information on combustion facility
WO2022217259A1 (en) * 2021-04-07 2022-10-13 Schlumberger Technology Corporation Real-time flare optimization using an edge device

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63298018A (en) * 1987-05-29 1988-12-05 Nippon Furnace Kogyo Kaisha Ltd Device for analyzing burner combustion state
JPH05149535A (en) * 1991-11-28 1993-06-15 Matsushita Electric Ind Co Ltd Controller for warm air space heater
JPH0629665A (en) * 1992-07-11 1994-02-04 Shinko Electric Ind Co Ltd Multilayered circuit board and its manufacture

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63298018A (en) * 1987-05-29 1988-12-05 Nippon Furnace Kogyo Kaisha Ltd Device for analyzing burner combustion state
JPH05149535A (en) * 1991-11-28 1993-06-15 Matsushita Electric Ind Co Ltd Controller for warm air space heater
JPH0629665A (en) * 1992-07-11 1994-02-04 Shinko Electric Ind Co Ltd Multilayered circuit board and its manufacture

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7952064B2 (en) * 2006-11-29 2011-05-31 Abb Research Ltd Device and method for processing and/or analyzing image information representing radiation
JP2019219147A (en) * 2018-06-22 2019-12-26 中国電力株式会社 Machine learning device and combustion state determination device
JP2020112332A (en) * 2019-01-16 2020-07-27 東京瓦斯株式会社 Method for providing diagnostic information on combustion facility
CN109882883A (en) * 2019-03-01 2019-06-14 北京慧辰资道资讯股份有限公司 A kind of method and device based on artificial intelligence optimization's boiler fired coal efficiency
WO2022217259A1 (en) * 2021-04-07 2022-10-13 Schlumberger Technology Corporation Real-time flare optimization using an edge device

Also Published As

Publication number Publication date
JP2963009B2 (en) 1999-10-12

Similar Documents

Publication Publication Date Title
CN102538000B (en) Combustion flame diagnostic method
KR100417834B1 (en) Hi-speed deterministic approach in detecting defective pixels within an image sensor
US8150099B2 (en) Image processing device, image processing method, image processing program product, and imaging device
US20070258640A1 (en) Inspection apparatus
JP7393313B2 (en) Defect classification device, defect classification method and program
JP2860782B2 (en) Combustion determination / control method and determination / control device using color image
JPH0849845A (en) Combustion deciding control method and deciding control device utilizing color image
KR100556247B1 (en) Picture Quality Evaluation Device And Controlling Method Thereof
CN101939995A (en) Image processing device and image processing program
JP2002140693A (en) Image processing parameter determination device, its method and recording medium with recorded image processing parameter determination program
JP3972647B2 (en) Diagnostic imaging apparatus, diagnostic imaging system, and diagnostic imaging method
JPH07239938A (en) Inspection method
CN112200735A (en) Temperature identification method based on flame image and control method of low-concentration gas combustion system
JP7154537B2 (en) Image feature extraction method and image feature extraction device
CN115861636A (en) Burner flame stability quantitative detection method based on digital image processing
GB2390675A (en) Flame characteristic monitor using digitising image camera
CN112052727B (en) Portrait recognition analysis system and method based on big data
JP2004171518A (en) Method and device for removing zipper-like ambiguous phenomenon at picture boundary
JP2022150562A (en) Image processing apparatus, image processing method, and program
JP2001078235A (en) Method and system for image evaluation
WO2022259661A1 (en) Learning device, learning program, abnormality detection device, and abnormality detection program
CN110855467A (en) Network comprehensive situation prediction method based on computer vision technology
TW202144588A (en) Blast-furnace furnace condition learning method, furnace condition learning device, abnormality detection method, abnormality detection device, and operation method
CN102023160A (en) Measure method of combustible quality based on image
JPH05197891A (en) Method and device for detecting abnormality

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 19990727

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080806

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090806

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100806

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110806

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110806

Year of fee payment: 12

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110806

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120806

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120806

Year of fee payment: 13

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 14

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130806

Year of fee payment: 14

EXPY Cancellation because of completion of term