JP2024001991A - 情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
JP2024001991A
JP2024001991A JP2022100892A JP2022100892A JP2024001991A JP 2024001991 A JP2024001991 A JP 2024001991A JP 2022100892 A JP2022100892 A JP 2022100892A JP 2022100892 A JP2022100892 A JP 2022100892A JP 2024001991 A JP2024001991 A JP 2024001991A
Authority
JP
Japan
Prior art keywords
change
image data
feature
predetermined
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022100892A
Other languages
English (en)
Inventor
啓二 戸村
Keiji Tomura
敬行 河野
Takayuki Kono
継彦 芳賀
Tsugihiko Haga
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JFE Engineering Corp
Original Assignee
JFE Engineering Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JFE Engineering Corp filed Critical JFE Engineering Corp
Priority to JP2022100892A priority Critical patent/JP2024001991A/ja
Publication of JP2024001991A publication Critical patent/JP2024001991A/ja
Pending legal-status Critical Current

Links

Images

Landscapes

  • Testing And Monitoring For Control Systems (AREA)
  • Incineration Of Waste (AREA)
  • Image Analysis (AREA)

Abstract

【課題】撮像画像に含まれる情報のいずれの情報が対象物の状況に影響を与えるかを解析すること。【解決手段】制御部は、対象物の変化または当該変化に起因する所定の変化の発生を予測する環境に関する環境データを取得し、所定時点から所定経過時間後の所定の変化に関連する環境データを第１遡及時間前まで遡った範囲内で取得し、撮像部によって撮像された撮像画像データを、第２遡及時間前まで遡った範囲内で複数取得して、それぞれの撮像画像データから数値化された複数の特徴量を抽出し、抽出した特徴量と取得した環境データとに基づいて画像生成学習モデルを生成し、複数の特徴量のうちの対象物の変化または当該変化に起因する所定の変化との相関が大きい特徴量を少なくとも１つ選択し、画像生成学習モデルに抽出した特徴量を入力して特徴画像データを生成し、選択した特徴量の数値を変化させて、特徴画像データを変化させた特徴変化画像データを生成する。【選択図】図５

Description

本発明は、情報処理装置、情報処理方法、およびプログラムに関する。
従来、プラントの一部を撮像した撮像画像に含まれる情報を用いて、プラントの操業における各種処理を制御する技術が種々提案されている。
特許文献１には、燃焼診断装置において、計測した輝度または温度の分布と画像処理により得られた結果を隣接して表示する技術が提案されている。
特許文献２には、正常な燃焼状態にある炎の画像データや正常な炎の画像データが持つ特徴量を取得して、現在の燃焼機器の炎の画像データや現在の炎の画像データが持つ特徴量と対比しつつ表示する構成、および取得した正常な燃焼状態にある炎の画像データの持つ特徴量と現在の燃焼機器の炎の画像データの持つ特徴量との類似度を評価することで現在の燃焼機器の燃焼状態が正常であるのか否かを検出する技術が提案されている。
特許文献３には、プラントの仕様に関係する物理パラメータまたは燃料の性状に関係する燃料パラメータのうち少なくとも一方を含むプラントの運転データと、プラントの燃焼領域の画像データとを読み込んで、画像データの特徴量を抽出し、物理パラメータまたは燃料パラメータのうち少なくとも一方と、画像データの特徴量とを入力パラメータとしてモデルを作成することで、燃料を燃焼するプラントの入力パラメータとプロセス値との関係を示すモデルを作成する技術が提案されている。
特許文献４には、ゴミ焼却炉内を時系列で撮像した複数の撮像画像のそれぞれから火炎の像が写る火炎領域を抽出する火炎領域抽出部と、火炎領域抽出部が抽出した火炎領域のうち時系列変化が相対的に少ない部分を火炎の基部と特定する基部特定部と、を備えた情報処理装置が提案されている。
特開昭６２－８０４３０号公報 特開２０００－１２１０４５号公報 特開２０１９－２０４１４５号公報 特開２０２０－１４３８０２号公報
上述した従来技術により提案された、画像に含まれる情報に基づいて、プラントなどの対象施設や対象物（以下、対象物と総称）の操業に対する各種の制御に対して調整を行う制御技術は、本明細書において画像制御技術という。しかしながら、この画像制御技術に関して、上述した従来技術では、取得した画像に含まれるいずれの情報が対象物の状況に影響を与えるのかについて明確にする方法が検討されていない。これにより、従来技術においては、画像を用いた処理を適用可能な状況が限定的になっていた。そこで、撮像画像に含まれる情報のうちのいずれの情報が対象物の状況に影響を与えるかを解析可能な技術が求められていた。
本発明は、上記に鑑みてなされたものであって、その目的は、撮像画像に含まれる情報のうちのいずれの情報が対象物の状況に影響を与えるかを解析できる情報処理装置、情報処理方法、およびプログラムを提供することにある。
上述した課題を解決し、目的を達成するために、本発明の一態様に係る情報処理装置は、ハードウェアを有する制御部を備え、前記制御部は、対象物の変化または前記対象物の変化に起因する所定の変化の発生を予測するための前記対象物が存在する環境に関連する環境データを取得して記憶部に格納し、所定時点から所定経過時間後における前記対象物の変化または前記対象物の変化に起因する所定の変化に関連する前記環境データを、前記所定時点から所定の第１遡及時間前まで遡った範囲内で前記記憶部から読み出し、撮像部によって前記対象物が撮像されて生成された撮像画像データを取得して撮像時点の情報と関連付けて前記記憶部に格納し、複数の前記撮像画像データを、前記所定時点から所定の第２遡及時間前まで遡った範囲内で前記記憶部から読み出し、前記読み出した前記複数の撮像画像データのそれぞれから、数値化された複数の特徴量を抽出して前記記憶部に格納し、前記複数の特徴量のうちの前記対象物の変化または前記対象物の変化に起因する所定の変化との相関が大きい特徴量を少なくとも１つ選択し、画像データを生成する画像生成学習モデルに、前記抽出した特徴量を入力して特徴画像データを生成し、前記選択した特徴量の数値を変化させることによって前記特徴画像データを変化させて、特徴変化画像データを生成して出力する。
本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、前記数値化された複数の特徴量を平均化した特徴量を入力パラメータとして前記画像生成学習モデルに入力し、前記画像生成学習モデルから、出力パラメータとして平均化された特徴画像データを出力させる。
本発明の一態様に係る情報処理装置は、上記の発明において、前記制御部は、前記平均化された特徴画像データと前記特徴変化画像データとの差分を導出して、前記特徴変化画像データにおける前記所定の変化の要因を抽出する。
本発明の一態様に係る情報処理装置は、上記の発明において、前記差分が輝度の差分である。
本発明の一態様に係る情報処理装置は、上記の発明において、前記対象物が焼却炉内の廃棄物であり、前記対象物の存在する環境における前記環境データが、前記焼却炉におけるプロセスデータである。
本発明の一態様に係る情報処理装置は、上記の発明において、前記対象物の変化に起因する所定の変化が、前記焼却炉内の炉内温度の変化、または前記焼却炉から排出される酸化窒素または一酸化炭素の濃度の変化である。
本発明の一態様に係る情報処理装置は、上記の発明において、前記第１遡及時間と前記第２遡及時間とが同じ時間である。
本発明の一態様に係る情報処理方法は、ハードウェアを有する制御部を備えた情報処理装置が実行する情報処理方法であって、対象物の変化または前記対象物の変化に起因する所定の変化の発生を予測するための前記対象物が存在する環境に関連する環境データを取得して記憶部に格納し、所定時点から所定経過時間後における前記対象物に生じる前記所定の変化に関連する前記環境データを、前記所定時点から所定の第１遡及時間前まで遡った範囲内で前記記憶部から読み出し、撮像部によって前記対象物が撮像されて生成された撮像画像データを取得して撮像時点の情報と関連付けて前記記憶部に格納し、複数の前記撮像画像データを、前記所定時点から所定の第２遡及時間前まで遡った範囲内で前記記憶部から読み出し、前記読み出した前記複数の撮像画像データのそれぞれから、数値化された複数の特徴量を抽出して前記記憶部に格納し、前記複数の特徴量のうちの前記対象物の変化または前記対象物の変化に起因する所定の変化との相関が大きい特徴量を少なくとも１つ選択し、画像データを生成する画像生成学習モデルに、前記抽出した特徴量を入力して特徴画像データを生成し、前記選択した特徴量の数値を変化させて、前記特徴画像データを変化させた特徴変化画像データを生成する。
本発明の一態様に係るプログラムは、ハードウェアを有する制御部を備えた情報処理装置における前記制御部に、対象物の変化または前記対象物の変化に起因する所定の変化の発生を予測するための前記対象物が存在する環境に関連する環境データを取得して記憶部に格納し、所定時点から所定経過時間後における前記対象物に生じる前記所定の変化に関連する前記環境データを、前記所定時点から所定の第１遡及時間前まで遡った範囲内で前記記憶部から読み出し、撮像部によって前記対象物が撮像されて生成された撮像画像データを取得して撮像時点の情報と関連付けて前記記憶部に格納し、複数の前記撮像画像データを、前記所定時点から所定の第２遡及時間前まで遡った範囲内で前記記憶部から読み出し、前記読み出した前記複数の撮像画像データのそれぞれから、数値化された複数の特徴量を抽出して前記記憶部に格納し、前記複数の特徴量のうちの前記対象物の変化または前記対象物の変化に起因する所定の変化との相関が大きい特徴量を少なくとも１つ選択し、画像データを生成する画像生成学習モデルに、前記抽出した特徴量を入力して特徴画像データを生成し、前記選択した特徴量の数値を変化させて、前記特徴画像データを変化させた特徴変化画像データを生成する。
本発明に係る情報処理装置、情報処理方法、およびプログラムによれば、撮像画像に含まれる情報のうちのいずれの情報が対象物の状況に影響を与えるかを解析することが可能となる。
図１は、本発明の一実施形態による情報処理装置を適用した廃棄物焼却施設を模式的に示す全体構成図である。 図２は、本発明の一実施形態による焼却炉における廃棄物、廃棄物の火格子上への供給部分、および撮像部を示す側面図である。 図３は、本発明の一実施形態による焼却炉における撮像部の視野を示す正面図である。 図４は、本発明の一実施形態による燃焼制御装置および画像処理装置の構成を示すブロック図である。 図５は、本発明の一実施形態による画像処理方法を説明するためのフローチャートである。 図６は、本発明の一実施形態による画像処理装置によって抽出された特徴量の値に対する温度低下の起きやすさを示すグラフである。 図７は、本発明の一実施形態による画像処理装置によって生成された平均の特徴画像データの例を示す図である。 図８は、本発明の一実施形態による画像処理装置によって生成された平均の特徴画像データに対して、炉内温度が低下する要因を強調した場合の特徴変化画像データの例を示す図である。 図９は、本発明の一実施形態による画像処理装置によって生成された平均の特徴画像データに対して、炉内温度が低下しない要因を強調した場合の特徴変化画像データの例を示す図である。
以下、本発明の一実施形態について図面を参照しつつ説明する。なお、以下の一実施形態の全図においては、同一または対応する部分には同一の符号を付す。また、本発明は以下に説明する一実施形態によって限定されるものではない。
まず、本発明の一実施形態による画像処理装置を説明するにあたり、本発明者が行った鋭意検討について説明する。すなわち、本発明者の知見によれば、従来技術においては、プラントなどの対象物の制御に対して各種工夫を加える技術が提案されている一方、取得した画像に含まれる情報のうちのいずれの情報が対象物の状況に影響を与えるかについて、学習によって明確にする方法が検討されていない。
具体的に例えば、プラントなどの対象物を撮像した撮像画像に含まれる情報を用いて、対象物の制御を調整する技術（以下、画像制御技術）は、次に挙げる状況に限定して適用可能である。すなわち、第１に、画像制御技術は、撮像画像に含まれる情報が対象物の状況に対してどのような影響を与えるかが判明している場合に適用可能である。第２に、画像制御技術は、撮像画像に含まれる情報と対象物であるプラントの状況との因果関係は不明確であるが、機械学習などにより、撮像画像に含まれる情報と対象物の状況との両者を関連付ける学習モデルやモデルが存在する場合に適用可能である。しかしながら、撮像画像に含まれる情報のうちのいずれの情報が、対象物の状況に影響を与え得るのかを機械学習などによって明確化することは検討されていない。
そこで、本発明者は、対象物としてのプラントの状況について、例えばある部分の温度が急激に下がるなどというプラントの状況の変動の原因を明確化する方法について鋭意検討を行った。そして、本発明者は、撮像画像から抽出した、複数のベクトル成分からなる特徴量とプラントなどの対象物の変動との関係性をモデル化することを想到した。さらに、本発明者は、モデルにおいて、複数の特徴量と対象物の変動との関係性が強いベクトルを強調した特徴量を導出し、導出した特徴量に基づいて撮像画像を生成して描画することによって、対象物における変動の要因を画像によって明示する画像処理方法を案出した。
本発明者は、案出した画像処理方法を実現するために、次の処理を行った。すなわち、まず、例えば約１００００データの複数の撮像画像を用いて特徴量空間を生成する。次に、生成した特徴量空間と、対象物が存在する環境に関連する環境データの例であるプラントのプロセスデータとを、例えば決定木アルゴリズムに基づいた勾配ブースティングアルゴリズムを扱う機械学習フレームワーク（例えば、Light GBM：Light Gradient Boosting Machine）を用いた予測モデルに入力する。
次に、モデルの個々の予測結果を説明するための処理方法、例えばＳＨＡＰ（Shapley Additive exPlanations）を用いて、予測に対する各特徴量の寄与度を算出する。なお、それぞれの特徴量の寄与の総和が予測値と一致することにより、予測に対する各特徴量の寄与度を算出可能となる。なお、ＳＨＡＰの出力例としては、全てのデータに対して１件毎にＳＨＡＰ値の計算を行い、全体像を可視化することによって、全体を俯瞰可能な出力が可能である。また、１つの特徴量について特徴量の値とＳＨＡＰ値との関係を可視化することによって、特定の特徴量について予測への寄与を可視化することが可能となる。また、１つのデータに対して、それぞれの特徴量がどのように作用しているかを可視化することによって、１つのデータに対してそれぞれの特徴量の寄与を可視化することが可能となる。
その後、これらの方法によって生成された特徴量空間において、所定の変化に対して相関が強い特徴量を変化させ、例えばＧＡＮ（Generative Adversarial Network）に代表される敵対的生成ネットワークなどの教師なし学習によって、特徴量と画像との関係を可視化して出力する。これにより、対象物の変動に対応した画像を生成して出力できる。なお、ＧＡＮなどの敵対的生成ネットワークは、データから特徴を学習することによって、実在しないデータを生成したり、存在するデータの特徴に沿って変換できたりする。また、予測モデルによって、対象物における未来の変動を予測して出力する。なお、ＧＡＮの代わりに、教師なし学習に対して畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いるＤＣＧＡＮ（Deep Convolutional ＧＡＮ）や、ＶＡＥ（Variational Autoencoder）などを利用することも可能である。
具体的に例えば、プラントのプロセスデータにおける温度の変動に対応する特徴量の時間に伴う変動パターンを抽出するためには、次のように処理を実行する。すなわち、まず、プラントにおいて燃焼に関する画像データを複数、例えば現在から５分間程度の所定時間だけ過去に遡った時系列の燃焼画像を１００００データほど取得する。次に、第１の処理として画像データから例えばＧＡＮなどの教師なし学習による学習を行う。続いて、第２に、ＧＡＮなどにおいて構成される特徴量空間に画像を写像するモデル（例えばＣＮＮ）の学習を行う。第３に、画像データを特徴量に変換したデータと、プロセスデータとを用いて、予測モデル（例えばＬｉｇｈｔＧＢＭ）による学習を行う。換言すると、温度の変動に伴うプロセスデータとの相関を学習させて、急な温度の低下を予測する予測モデルを構築する。次に、第４として、この構築した例えばＬｉｇｈｔＧＢＭなどの予測モデルから、例えばＳＨＡＰなどの説明可能なＡＩの手法を用いて、特徴量と急な温度の低下との関係を抽出する。例えば、急な温度の低下の予測に寄与する特徴量を抽出して、特徴量と温度との関係を抽出する。第５に、例えばＧＡＮによって特徴量と画像との関係を可視化して出力する。なお、ＧＡＮなどの敵対的生成ネットワークは、データから特徴を学習することによって、実在しないデータを生成したり、存在するデータの特徴に沿って変換できたりする。
すなわち、本発明者は、対象物の状態の変化に対して、変化の原因の所在を画像によって説明可能にするために、取得した複数の実際の撮像画像から特徴量を抽出し、抽出した特徴量を用いて画像を生成する画像処理方法を案出した。その上で、この画像処理方法を応用して、抽出した特徴量と、対象物に関連するプロセスデータとを関連付けることで、対象物の状況の所定時間後の変動を予測して画像により予測する画像予測方法を案出した。これによって、対象物の状況の変動を予測できるので、本発明者は、抽出した特徴量や特徴量から生成した画像を対象物に関連する制御に用いることによって、効率良く対象物を制御することができる方法を想到した。
以下に説明する一実施形態は、以上の本発明者の鋭意検討に基づいて案出されたものであり、対象物として火格子焼却炉において焼却される廃棄物を採用した場合を例に説明する。
（火格子焼却炉）
図１は、本発明の一実施形態による情報処理装置が適用される火格子焼却炉を示す。図１に示すように、廃棄物焼却炉としての火格子焼却炉は、廃棄物の燃焼が行われる焼却炉１、廃棄物を投入する廃棄物投入口２、およびボイラ９を備える。蒸気発生部としてのボイラ９は、焼却炉１の炉出口７の下流側に設置された熱交換器９ａおよび蒸気ドラム９ｂを備える。
廃棄物投入口２から投入された廃棄物は、廃棄物供給手段としての廃棄物供給装置３によって火格子４に搬送される。火格子４が往復運動を行うことにより、廃棄物の撹拌および移動が行われる。火格子４上の廃棄物は、火格子４の下方の風箱に燃焼用空気ブロア６により供給される燃焼用空気の吹き込みによって乾燥されながら燃焼されて、排ガスおよび灰が生成される。生成された灰は、灰落下口５を通じて落下して焼却炉１の外部に排出される。
火格子４の下から焼却炉１の内部に供給される燃焼用空気の総量は、押込送風機としての燃焼用空気ブロア６の直近に設けた燃焼用空気ダンパ１４によって調整される。それぞれの風箱に供給される燃焼用空気の流量は、それぞれの風箱に燃焼用空気を供給する配管にそれぞれ設けられた、火格子下燃焼用空気ダンパ１４ａ，１４ｂ，１４ｃ，１４ｄによって調整される。換言すると、火格子下燃焼用空気ダンパ１４ａ～１４ｄによって、それぞれの風箱に供給される燃焼用空気の流量の比率が調整される。なお、図１においては、廃棄物の搬送方向に沿って火格子４の下を４つの風箱で分割し、それぞれの風箱を通じて燃焼用空気を供給しているが、火格子下燃焼用空気ダンパ１４ａ～１４ｄおよび風箱の数は必ずしも４つに限定されず、火格子焼却炉の規模や目的などに応じて適宜変更可能である。
炉壁１ａ（図２参照）に設けられた二次空気吹き込み口１０からは、二次送風機としての二次空気ブロア１１によって二次空気が焼却炉１内に吹き込まれる。二次空気が焼却炉１内に吹き込まれることによって、燃焼ガス中の未燃焼成分がさらに燃焼するとともに、炉壁１ａの温度の過度な上昇を抑制する。二次空気吹き込み口１０から焼却炉１内に供給される二次空気の流量は、二次空気ブロア１１の直近に設けられた二次空気ダンパ１５によって調整される。
火格子４における廃棄物の搬送方向に沿って、上流側の廃棄物乾燥過程（乾燥段）および主燃焼過程（燃焼段）において発生した可燃性ガスと、下流側の後燃焼過程（後燃焼段）において発生した燃焼排ガスとが、焼却炉１の炉出口７側に設けられたガス混合部において合流する。ガス混合部において合流した可燃性ガスおよび燃焼排ガスは、再度攪拌および混合された後、二次燃焼用空気の供給によって、二次燃焼が行われる。ボイラ９は、二次燃焼が行われる部分（以下、二次燃焼部）に対して、廃棄物の搬送方向に沿った下流側に設置されている。二次燃焼が行われた燃焼ガスは、ボイラ９の熱交換器９ａによって熱エネルギーが回収された後に、煙突８から外部に排気される。
焼却炉１内には、焼却炉１の高さ方向に沿った上側の位置に中間天井１６が設けられている。焼却炉１内に流動するガスは、中間天井１６によって、上流側における廃棄物乾燥過程および主燃焼過程で発生した可燃性ガスを多く含むガスと、下流側における後燃焼過程で発生した燃焼排ガスとに、分割して排出できる。具体的には、燃焼排ガスが中間天井１６よりも下方の煙道（主煙道）を流れる一方、可燃性ガスを多く含むガスが中間天井１６よりも上方の煙道（副煙道）を流れる。燃焼排ガスと可燃性ガスを多く含むガスとがガス混合部において合流することによって、ガス混合部でのガスの攪拌および混合がさらに促進される。これにより、二次燃焼部における燃焼がより安定化し、燃焼過程におけるダイオキシン類の発生を抑制し、廃棄物の未燃分の発生を抑制することができる。なお、焼却炉１内に中間天井１６を設けない構成にしても良い。
焼却炉１内の複数位置に、焼却炉１内のガス温度を計測するセンサとしての温度計が設けられている。具体的には、焼却炉１の高さ方向に沿って、火格子４と二次空気吹き込み口１０との中間位置に燃焼室ガス温度計１７が設けられている。焼却炉１の高さ方向に沿って、炉出口７より下方位置に主煙道ガス温度計１８が設けられている。焼却炉１の高さ方向に沿って、炉出口７の下部位置に炉出口下部ガス温度計１９が設けられている。焼却炉１の高さ方向に沿って、炉出口７の中部位置に炉出口中部ガス温度計２０が設けられている。焼却炉１の高さ方向に沿って、炉出口７の下流側位置に燃焼管理温度を測定する炉出口ガス温度計２１が設けられている。燃焼室ガス温度計１７、主煙道ガス温度計１８、炉出口下部ガス温度計１９、炉出口中部ガス温度計２０、および炉出口ガス温度計２１により計測された温度の計測値は、燃焼プロセス測定値として燃焼制御装置３０に送信されて記憶部３２（図４参照）に記憶される。
ボイラ９には、出口側に排ガス中の酸素（Ｏ2）の濃度を計測するボイラ出口酸素濃度計２２が設けられている。煙突８の入口には、排ガス中の一酸化炭素（ＣＯ）および窒素酸化物（ＮＯx）の濃度を計測するガス濃度計２３が設けられている。ボイラ９の出口と煙突８とを接続する配管には、排ガス量を計測するための排ガス流量計２４が設けられている。ボイラ出口酸素濃度計２２、ガス濃度計２３、および排ガス流量計２４により計測されたガスの濃度や流量の計測値は、燃焼プロセス測定値として燃焼制御装置３０に送信されて記憶部３２に記憶される。また、ボイラ９には、ボイラ９において発生した蒸気量を計測する蒸気流量計２５が設けられている。蒸気流量計２５により計測されたボイラ９の蒸気発生量の計測値は、燃焼プロセス測定値として燃焼制御装置３０に送信されて記憶部３２に記憶される。
焼却炉１における廃棄物の搬送方向の下流側には、撮像部２６が設けられている。撮像部２６は、例えば赤外線カメラから構成される火炎透過カメラ、および撮像した画像データを処理する画像処理部を有して構成される。図２は、撮像部２６の設置状態を示す側面図である。撮像部２６は、炉壁１ａに設けられた監視窓に近接して炉外に配設されても、水冷構造を有して焼却炉１内に配設されても良い。図２に示すように、廃棄物５０は、段差壁１３の部分で廃棄物供給部１２から火格子４上に落下する。火格子４上に落下した廃棄物５０は、火格子４の前後移動に伴う往復運動によって攪拌されつつ、撮像部２６側である前方に移動される。
撮像部２６は、火格子４上の廃棄物５０（以下、火格子上廃棄物５２）のサーモグラフィ情報を熱画像情報として取得できる。ここで、廃棄物５０から放射される赤外線の波長と、空間における高温ガスおよび火炎から放射される赤外線の波長とは異なる。そのため、撮像部２６においては、測定する赤外線波長を適切に選定することによって測定視野内に火炎が存在していても、火格子上廃棄物５２の層の温度分布に対応する熱画像情報を得ることができる。また、撮像部２６による炉長方向の測定範囲を設定して、燃焼領域より上流側位置（火炎より上流側）での火格子上廃棄物５２の層の熱画像情報を得ることができる。熱画像情報は、火炎を透過した状態の映像データ、すなわち複数の画像データとして扱うことができる。
換言すると、撮像部２６は、廃棄物供給部１２から送り出される廃棄物５０（以下、供給前廃棄物５１）、廃棄物５０が落下する段差を有する段差壁１３、火格子上廃棄物５２、および火格子４の上面を、火炎を透過した状態で撮像可能である。なお、火格子上廃棄物５２の燃焼状態、すなわち火炎自体を撮像する燃焼画像撮像部をさらに設けても良い。撮像部２６が撮像した火炎を透過した状態で撮像した撮像画像データ（以下、透過画像データ）は、即時的または所定の時間間隔で、画像処理装置４０に送信される。なお、撮像部２６が撮像した透過画像データを、燃焼制御装置３０の記憶部３２に記憶させた後に、燃焼制御装置３０から画像処理装置４０に送信しても良い。
本実施形態において撮像部２６は、例えば、廃棄物供給部１２および段差壁１３に対して略正対する位置に設置される。なお、撮像部２６の設置は、廃棄物供給部１２および段差壁１３に対して略正対する位置に限定されない。撮像部２６の設置位置は、少なくとも火格子上廃棄物５２と、他の物体、ここでは段差壁１３および火格子４との境界部分が撮像可能であれば、種々の位置に設置可能である。
図３は、撮像部２６の視野の例を示す正面図である。図３に示すように、撮像部２６は例えば、焼却炉１の上下方向および炉幅方向（左右方向）に拡がる測定視野を有する。本実施形態において撮像部２６の視野は、廃棄物供給部１２、段差壁１３、火格子４、および炉壁１ａである。撮像部２６の視野に含まれる炉壁１ａは、廃棄物５０の左右方向の外側への移動、すなわち拡がりを規制する。なお、撮像部２６の視野としては、火格子４上に存在する火格子上廃棄物５２と火格子４および段差壁１３との境界部分を撮像可能な視野を有すれば良い。また、撮像部２６は、廃棄物供給部１２まで搬送された廃棄物５０を撮像できるのが好ましい。これにより、段差壁１３の位置で落下する廃棄物５０を撮像できる。
図４は、燃焼制御装置３０および画像処理装置４０の構成を示すブロック図である。燃焼制御装置３０と画像処理装置４０とは、例えば、専用線、インターネットなどの公衆通信網、例えばＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、および携帯電話などの電話通信網や公衆回線、ＶＰＮ（Virtual Private Network）などの一または複数の組み合わせからなるネットワーク（図示せず）を介して、接続されている。また、燃焼制御装置３０および画像処理装置４０を一体に構成しても良く、燃焼制御装置３０および画像処理装置４０を火格子焼却炉と同じ施設内に設置しても別の施設に設置しても良い。火格子焼却炉と燃焼制御装置３０と画像処理装置４０とを別々の施設に設置する場合には、上述したネットワークを介して各種情報や各種データの通信が行われる。
図４に示すように、燃焼制御装置３０は、制御部３１、記憶部３２、および操作量調整部３３を備える。燃焼制御部としての制御部３１、および操作量調整部３３は、具体的に、ハードウェアを有するＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、ＦＰＧＡ（Field-Programmable Gate Array）などのプロセッサ、およびＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などの主記憶部（いずれも図示せず）を備える。記憶部３２は、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ハードディスクドライブ（ＨＤＤ、Hard Disk Drive）、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢ（Universal Serial Bus）メモリ、または、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、もしくはＢＤ（Blu-ray（登録商標） Disc）のようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部３２を構成しても良い。
記憶部３２には、燃焼制御装置３０の動作を実行するための、オペレーティングシステム（Operating System：ＯＳ）、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。ここで、各種プログラムには、本実施形態による学習モデルや学習済みモデルなどのモデルに基づいた処理を実現する、情報処理プログラムも含まれる。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
燃焼制御装置３０は、あらかじめ定められた操作量基準値設定関係式（以下、操作量関係式）に基づいて、それぞれの操作端の操作量として、廃棄物５０の廃棄物供給速度を調整する廃棄物供給装置送り速度（給塵速度ともいう）、および廃棄物５０の移動速度を調整する火格子送り速度（火格子速度とも言う）を制御する。なお、燃焼制御装置３０は、廃棄物供給装置送り速度および火格子送り速度については、停止や運転操作の制御も行う。燃焼制御装置３０は、必要に応じて、操作量関係式に基づいて、燃焼用空気量および二次空気量を制御する。操作量関係式は、例えば、廃棄物焼却量設定値または廃棄物質設定値と操作量基準値（操作量の目標値）との関係式であって、補正係数としての制御パラメータを含む。制御パラメータは、制御部３１によって、廃棄物焼却量設定値、および廃棄物質設定値に適合するように調整される。調整された制御パラメータは、廃棄物焼却量設定値および廃棄物質設定値のうちの少なくとも一方の設定値が変更された際に、変更された設定値に対応して、制御部３１により変更される。制御パラメータが変更されることにより、あらかじめ設定された操作量基準値が補正される。
制御部３１は、廃棄物焼却量設定値に応じて廃棄物質（廃棄物の低位発熱量）を算出する。制御部３１は、操作量関係式に含まれる制御パラメータの調整により操作量基準値を調整する。制御部３１は、調整した操作量基準値を、例えばＰＩＤ制御やファジィ演算などの所定の制御アルゴリズムに基づいて補正する。記憶部３２は、制御部３１によって参照されるデータを記憶する。記憶部３２には、あらかじめ定められた操作量関係式、制御アルゴリズム、あらかじめ設定された焼却量設定値、および焼却炉１内の燃焼状態量として取得された燃焼プロセス測定値が記憶されている。
操作量調整部３３は、操作量基準値に追従するように各操作端のそれぞれの操作量を調整する。具体的に操作量調整部３３は、燃焼用空気量調整部３３１、空気量比率調整部３３２、二次空気量調整部３３３、廃棄物供給装置送り速度調整部３３４、および火格子送り速度調整部３３５を有する。
燃焼用空気量調整部３３１は、燃焼用空気量が制御部３１により補正された操作量基準値（以下、補正操作量基準値）に追従するように操作量を調整する。空気量比率調整部３３２は、火格子下燃焼用空気ダンパ１４ａ～１４ｄのそれぞれを制御して、それぞれの風箱における流量の相互の比率を調整する。二次空気量調整部３３３は、二次空気量が補正操作量基準値に追従するように操作量を調整する。ここで、燃焼用空気量および二次空気量の調整は、燃焼用空気ダンパ１４、火格子下燃焼用空気ダンパ１４ａ～１４ｄ、および二次空気ダンパ１５のそれぞれの開度を制御して調整する。
廃棄物供給装置送り速度調整部３３４は、廃棄物供給装置送り速度が補正操作量基準値に追従するように操作量を調整する。火格子送り速度調整部３３５は、火格子送り速度が補正操作量基準値に追従するように操作量を調整する。操作量調整部３３は、制御部３１により操作量基準値が補正されなかった場合には、補正されていない操作量基準値に基づいてそれぞれの操作量を調整する。
（画像処理装置）
情報処理装置としての画像処理装置４０は、制御部４１、出力部４２、入力部４３、および記憶部４４を備える。画像処理装置４０は、複数の透過画像データを取得して取得した複数の燃焼画像データから特徴量を抽出し、抽出した特徴量のうちから所定の変動との関連性が強い特徴量を選択する、特徴量抽出装置として機能する。さらに、画像処理装置４０は、抽出した特徴量と燃焼に関するプロセス測定値（プロセスデータ）との関連を学習して、所定の変動に応じて、特徴量の変化に対応した画像を描画処理した処理画像データ（以下、特徴画像データ）を生成する、画像生成装置として機能する。
制御部４１は、機能的および物理的には、上述した制御部３１と同様の構成を有する。制御部４１は、ハードウェアを有するＣＰＵ、ＤＳＰ、ＦＰＧＡなどのプロセッサ、およびＲＡＭやＲＯＭなどの主記憶部（いずれも図示せず）を備える。出力手段としての出力部４２は、所定の情報を外部に通知可能に構成される。
出力部４２は、制御部４１による制御に従って、ディスプレイモニタに焼却炉１内の廃棄物５０の画像などを表示したり、タッチパネルディスプレイの画面上に文字や図形などを表示したり、スピーカから音声を出力したりする。入力手段としての入力部４３は、キーボードや入力用のボタン、レバーや、液晶などのディスプレイに重畳して設けられる手入力のためのタッチパネル、または音声認識のためのマイクロホンなどの、ユーザインターフェースを用いて構成される。ユーザなどが入力部４３を操作することによって、制御部４１に所定の情報を入力可能に構成される。なお、出力部４２および入力部４３を一体とした入出力部とし、入出力部をタッチパネルディスプレイやスピーカマイクロホンなどから構成しても良い。
記憶部４４は、機能的および物理的には、上述した記憶部３２と同様の構成を有し、ＲＡＭなどの揮発性メモリ、ＲＯＭなどの不揮発性メモリ、ＥＰＲＯＭ、ＨＤＤ、およびリムーバブルメディアなどから選ばれた記憶媒体から構成される。なお、リムーバブルメディアは、例えば、ＵＳＢメモリ、または、ＣＤ、ＤＶＤ、もしくはＢＤのようなディスク記録媒体である。また、外部から装着可能なメモリカードなどのコンピュータ読み取り可能な記録媒体を用いて記憶部４４を構成しても良い。
記憶部４４には、画像処理装置４０の動作を実行するためのＯＳ、各種プログラム、各種テーブル、各種データベースなどが記憶可能である。ここで、各種プログラムには、本実施形態による学習モデルまたは学習済みモデルを用いた制御を実現する情報処理プログラムが含まれる。記憶部４４は、種々のネットワークを介して通信可能な他のサーバに設けても良いし、燃焼制御装置３０に設けても良い。具体的に、記憶部４４には、画像生成学習モデル４４ａ、予測学習モデル４４ｂ、特徴量抽出モデル４４ｃ、および画像処理データベース４４ｄが格納されている。予測学習モデル４４ｂには、説明可能な人工知能（explainable ＡＩ：ＸＡＩ）（以下、説明可能ＡＩ４４ｅ）が格納されている。予測学習モデル４４ｂに対して説明可能ＡＩ４４ｅが適用される。
画像生成学習モデル４４ａ、予測学習モデル４４ｂ、および特徴量抽出モデル４４ｃはそれぞれ、少なくとも１つの学習モデルを含む更新可能なモデルである。なお、学習モデルを更新しない場合には、学習済みモデルとして記憶部４４に格納される。画像生成学習モデル４４ａおよび特徴量抽出モデル４４ｃは、両方の学習モデルを１つの学習モデル、例えば画像特徴抽出モデルとして構築されていても良い。さらに、撮像部２６によって撮像された火炎自体の燃焼画像データから所定の判断を実行可能な、燃焼画像学習モデルを用いた判断処理を実現する自動判断処理プログラムが含まれていても良い。これらの各種プログラムは、ハードディスク、フラッシュメモリ、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、フレキシブルディスクなどのコンピュータ読み取り可能な記録媒体に記録して広く流通させることも可能である。
画像生成学習モデル４４ａは画像を生成する学習モデルであり、例えばＧＡＮなどから構築される。予測学習モデル４４ｂは、透過画像データから抽出された特徴量とプロセスデータとに基づいて所定時間後の変化を予測するモデルである。特徴量抽出モデル４４ｃは、透過画像データから特徴量を抽出するモデルであり、例えばＣＮＮなどによって構築される。さらに、画像生成学習モデル４４ａや特徴量抽出モデル４４ｃにおいては、ＶＡＥを用いる場合、エンコーダおよびデコーダをそれぞれ用いることが可能である。また、画像生成学習モデル４４ａ、予測学習モデル４４ｂ、および特徴量抽出モデル４４ｃを、１つの画像処理学習モデルなどとして、１つの学習モデルとして構成しても良い。
画像処理データベース４４ｄは、撮像部２６によって撮像された複数の透過画像データ、透過画像データから抽出された特徴量のデータ、および画像処理装置４０によって生成された特徴画像データや後述する特徴変化画像データ、および所定の変化と抽出された特徴量との相関関係の情報などが格納される。なお、画像処理に関するその他のデータが格納されていても良い。
制御部４１は、記憶部４４に記憶されたプログラムを主記憶部の作業領域にロードして実行し、プログラムの実行を通じて各構成部などを制御することによって、所定の目的に合致した機能を実現できる。本実施形態においては、制御部４１は、記憶部４４に格納されたプログラムの実行によって、画像処理部４１１、特徴量処理部４１２、および学習部４１３の機能を実行する。具体的に例えば、制御部４１は、記憶部４４からプログラムである画像生成学習モデル４４ａ、予測学習モデル４４ｂ、および特徴量抽出モデル４４ｃのうちから所定の学習モデルを選択的に読み込むことによって、画像処理部４１１の機能を実行する。また、制御部４１は、記憶部４４からプログラムである説明可能ＡＩ４４ｅを読み込むことによって、予測学習モデル４４ｂに対して特徴量処理部４１２や学習部４１３の機能を実行する。画像処理部４１１、特徴量処理部４１２、および学習部４１３の機能の詳細については、後述する。
（画像処理方法）
次に、本実施形態による画像処理方法について説明する。図５は、本実施形態による画像処理方法を説明するためのフローチャートである。図５に示すように、まずステップＳＴ１において撮像部２６は、焼却炉１内で燃焼されている廃棄物を連続的または断続的に撮像する。撮像部２６による焼却炉１内の撮像は所定間隔で行っても良く、連続的に行っても良い。撮像部２６による撮像を連続的に行う場合、透過画像データは映像データや動画データとなる。
撮像部２６は、撮像した透過画像データを、所定時間間隔ごとに選択的に、随時、または適時に、画像処理装置４０の入力部４３に出力する。制御部４１は、入力部４３から入力されて取得した透過画像データを、記憶部４４の画像処理データベース４４ｄに格納する。画像処理データベース４４ｄに格納された透過画像データは、撮像された日付および時刻、すなわち撮像時点の情報と関連付けられて時系列で格納される。透過画像データの取得は、少なくとも学習モデルを生成可能な数だけ取得して、画像処理データベース４４ｄに蓄積される。本実施形態においては、例えば７日間～１０日間、好適には２週間程度の期間において、例えば１分間隔で取得した透過画像データを画像処理データベース４４ｄに蓄積する。これにより、透過画像データは、（６０×２４×７≒）１００００以上のデータが蓄積される。
次に、ステップＳＴ２に移行すると制御部４１の画像処理部４１１は、対象物の変化または対象物の変化に起因する所定の変化に適合する透過画像データを所定期間分抽出する。具体的に例えば、廃棄物５０の燃焼に起因する影響が表出する所定の変化を、「所定時点から１０分後の炉出口下部ガス温度計１９による計測値である炉内温度の低下」とする。この場合、画像処理部４１１は、画像処理データベース４４ｄに格納された複数の透過画像データから、所定時点を起点として過去に遡る所定時間（以下、遡及時間）、例えば５分間の透過画像データを複数抽出する。この遡及時間は、透過画像データに関連付けられた撮像時点の情報に基づいて、所定時点から遡る第２遡及時間に相当する。これにより、画像処理部４１１は、１０分間などの所定経過時間後に、炉内温度が低下するなどの所定の変化が生じる所定時点から、遡及時間分の時系列の透過画像データを抽出できる。
続いて、ステップＳＴ３に移行して、学習部４１３は、画像データから特徴量空間に変換するための、画像生成学習モデル４４ａを生成する。画像生成学習モデル４４ａは、例えばＧＡＮなどの学習モデルである。学習部４１３は、生成した画像生成学習モデルを記憶部４４に格納して、画像生成学習モデル４４ａを追記または更新する。すなわち、制御部４１の学習部４１３は、焼却炉１内を撮像した画像データに基づいて、画像生成学習モデルを生成して、画像生成学習モデル４４ａを追記または更新する。また、ステップＳＴ３において学習部４１３は、透過画像データから特徴量を抽出するための、特徴量抽出モデル４４ｃを生成する。特徴量抽出モデル４４ｃは、例えばＣＮＮなどによって構築される。学習部４１３は、生成した特徴量抽出モデルを記憶部４４に格納して、特徴量抽出モデル４４ｃを追記または更新する。
次に、ステップＳＴ４において制御部４１の特徴量処理部４１２は、画像処理部４１１によって抽出した時系列の複数の透過画像データから、複数次元の潜在ベクトルとして特徴量を抽出する。換言すると、特徴量処理部４１２は、透過画像データを特徴量として数値化する。本実施形態においては、ＣＮＮを利用してＧＡＮで学習した特徴量空間に射影させることにより、特徴量を抽出する。また、特徴量空間となる潜在ベクトルは例えば１６次元であるが、１６次元未満であっても１７次元以上であっても良い。本実施形態のように、焼却炉１内における廃棄物の燃焼を撮像した透過画像データに対する画像処理においては、特徴量空間は１６次元が好ましいが、限定されない。抽出する潜在ベクトルの次元数を、１６次元未満とすると、生成または復元できる画像データのパターンが減少して、特定の画像データしか生成できなくなり、いわゆるモード崩壊（mode collapse）の現象が生じる可能性があり、１７次元以上にすると生成または復元できる画像データのパターンが増加して、特徴画像データは精細になる。なお、抽出する特徴量として何次元の潜在ベクトルとするかについては、対象物に応じて種々選択可能である。
次に、ステップＳＴ５に移行して、制御部４１の画像処理部４１１は、燃焼制御装置３０から焼却炉１内における燃焼に関連するプロセス測定値であるプロセスデータを取得する。なお、プロセスデータの取得は、所定間隔で行っても良く、連続的に行っても良い。ここで、取得するプロセスデータの例を挙げると、炉内温度、炉内圧力、蒸気流量、蒸気圧力、空気送風量、排気ガス流量、プッシャ稼働速度、火格子稼働速度、炉内カメラ情報、およびガス組成などである。
画像処理部４１１は、取得したプロセスデータを記憶部４４の画像処理データベース４４ｄに格納する。画像処理データベース４４ｄに格納されたプロセスデータは、測定された日付および時刻に関連付けられて時系列で格納される。プロセスデータの取得は従来と同様に行うことが可能であるが、画像処理部４１１は、プロセスデータを少なくとも予測学習モデルを生成可能な数だけ取得して、画像処理データベース４４ｄに蓄積される。
次に、ステップＳＴ６に移行して画像処理部４１１は、画像処理データベース４４ｄに格納されたプロセスデータから、所定の変化を含むプロセスデータを抽出する。ここで、本実施形態においては、取得するプロセスデータは、上述した炉内温度の低下が生じる１０分前の所定時点から、所定の遡及時間、例えば５分間遡った期間の各種のプロセスデータである。ここで、取得するプロセスデータは、プロセスデータに関連付けられた測定日付や測定時刻に基づいて、所定時点から所定の遡及時間前まで遡った範囲とする。ここでの遡及時間は、所定時点から遡る第１遡及時間となる。なお、プロセスデータを取得する所定時点からの遡及時間（第１遡及時間）は、上述した透過画像データを抽出する遡及時間（第２遡及時間）と同じ時間が好ましいが、透過画像データを抽出する遡及時間より長くても短くても良い。これにより、画像処理部４１１は、所定時点から所定経過時間後に、炉内温度が低下するなどの所定の変化が生じる場合のプロセスデータを遡及時間分だけ取得できる。上述したステップＳＴ１～ＳＴ６は、逆順に実行しても並行して実行しても良い。ステップＳＴ１～ＳＴ６の実行後、ステップＳＴ７に移行する。
ステップＳＴ７において制御部４１の特徴量処理部４１２は、抽出した特徴量と所定の変化、本実施形態においては１０分後の炉内温度の低下に関するプロセスデータとの相関を導出する。これによって、予測学習モデル４４ｂを生成または更新する。その後、学習部４１３は、説明可能ＡＩ４４ｅの手法を予測学習モデル４４ｂに適用する。これによって、特徴量処理部４１２は、抽出した特徴量と１０分後の炉内温度の低下に関するプロセスデータとの関連を、例えばＳＨＡＰを用いて抽出して、予測に対する抽出した例えば１６次元のそれぞれの特徴量の寄与度を算出する。
図６は、本実施形態による画像処理装置４０の特徴量処理部４１２によって選択された特徴量の値に対する温度低下の発生しやすさを示すグラフである。図６に示す選択された特徴量は、１６次元の潜在ベクトルのうちから、１０分後の炉内温度の低下に対する寄与度が高い特徴量であり、ここでは、寄与度が最も高い特徴量、すなわち温度の低下の発生確率との相関関係が最も強い特徴量を選択されている。図６に示すように、特徴量を例えば－２～＋２の範囲で変化させると、特徴量を負に変化させるのに従って、温度低下の発生しやすさが急激に増加する。換言すると、特徴量を正に変化させるのに従って、温度低下の発生しやすさが急激に減少する。図６中点線囲みの部分が特徴量に対応した炉内温度が低下する領域である。ここで、寄与度が高い特徴量においては、温度低下の発生しやすさとの関連性が高いことから、選択された特徴量の値を変化させると、温度の低下の発生しやすさが大きく変化することになる。このように、透過画像データから抽出した種々の特徴量の中から、所定の変化に対する寄与度の高い特徴量を抽出することによって、所定の変化との相関関係が大きい特徴量を選択できる。
次に、ステップＳＴ８に移行して制御部４１の画像処理部４１１は、画像生成学習モデル４４ａを読み出して、所定の変化の要因を可視化した画像を生成する。すなわち、まず、画像処理部４１１は、抽出した例えば１６次元の潜在ベクトルなどの特徴量の平均値を導出して、入力パラメータとして画像生成学習モデル４４ａに入力する。画像生成学習モデル４４ａは、出力パラメータとして、特徴量の平均値に基づいた平均化された特徴画像データを生成して出力する。
図７は、画像処理装置４０によって生成された平均の特徴画像データの例を示す図である。すなわち、図７は、図６に示すグラフにおいて特徴量を０とした場合の特徴画像データである。図７に示すように、平均の特徴画像データは、焼却炉１内において火炎（輝炎ともいう）を透過した状態で、廃棄物供給部１２および火格子４上に供給される前の供給前廃棄物５１、段差壁１３、火格子４および火格子４上の火格子上廃棄物５２、ならびに炉壁１ａを、特徴量が平均化された状態で生成された画像データである。画像処理部４１１は、生成した平均の特徴画像データを記憶部４４の画像処理データベース４４ｄに格納する。
その後、画像処理部４１１は、所定経過時間後の炉内温度の低下に最も寄与する特徴量を変化させた特徴変化画像データを生成する。図８および図９はそれぞれ、本実施形態による画像処理装置４０によって生成された図７に示す平均の特徴画像データに対して、炉内温度が低下する要因を強調した場合、および炉内温度が低下しない要因を強調した場合の特徴変化画像データの例を示す図である。
選択した特徴量を温度が低下する方向に変化させた場合、ここでは図６に示す選択した特徴量を負の方向に変化させた場合を例にする。この場合、入力パラメータとして、特徴量処理部４１２が選択した特徴量を負方向に変化させた特徴量を含む、透過画像データと同等の画像データを生成するために必要な特徴量が画像生成学習モデル４４ａに入力される。画像生成学習モデル４４ａは、出力パラメータとして出力される特徴変化画像データとして、例えば、平均化された特徴画像データ（図７参照）に比して火格子４上の火格子上廃棄物５２Ａの層高Ｌ1が小さくなる、図８に示すような特徴変化画像データを出力する。
また、画像処理部４１１は、選択された特徴量を負方向に変化させた特徴量に基づいた画像データと平均化された特徴画像データ（図７参照）との輝度の差分を導出することによって、廃棄物供給部１２の部分における供給前廃棄物５１Ａの温度Ｔ1が高い、例えばサーモグラフィのように温度Ｔ1の高い領域が赤くなるような特徴変化画像データを出力できる。以上から、寄与度の高い特徴量を正負に変化させて生成された特徴変化画像データによって、所定経過時間後において温度が低下する要因は、火格子４上の火格子上廃棄物５２Ａの層高Ｌ1が小さく、廃棄物供給部１２の部分における供給前廃棄物５１Ａの温度が高い現象であることが判明する。
反対に、選択した特徴量を温度が低下しない方向に変化させた場合、ここでは図６に示す特徴量を正の方向に変化させた場合、特徴変化画像データとしては、図９に示すように、平均化された特徴画像データ（図７参照）に比して、火格子４上の火格子上廃棄物５２Ｂの層高Ｌ2がやや大きくなる特徴変化画像データが得られる。また、選択された特徴量を正方向に変化させた特徴量に基づいた画像データと平均化された特徴画像データ（図７参照）との輝度の差分を導出することによって、廃棄物供給部１２の部分における供給前廃棄物５１Ｂの温度Ｔ2が低い、例えばサーモグラフィのように温度Ｔ2が低い領域が青くなるような特徴変化画像データを出力できる。以上の点から、所定経過時間後において温度が低下しないための要因としては、火格子４上の火格子上廃棄物５２Ａの層高Ｌ2がやや大きく、廃棄物供給部１２の部分における火格子上廃棄物５２Ａの温度が低い現象であることが、寄与度の高い特徴量を正負に変化させて生成された特徴変化画像データによって判明する。
透過画像データから抽出された特徴量が平均化されて得られる平均の特徴画像データと、寄与度の高い特徴量を正負に変化させて得られた特徴画像データとによって、所定の変化が発生する際の要因となる現象を、画像によって出力することができる。これにより、画像を認識したユーザは、将来の所定の変化の要因や原因を可視化した画像によって認識可能になり、直感的な認識が可能になる。以上により、本実施形態による画像処理が終了する。
その後、ステップＳＴ９において画像処理装置４０は、生成した特徴画像データ、および特徴画像データに基づいて得られた要因および原因の情報を燃焼制御装置３０に送信する。燃焼制御装置３０の制御部３１は、受信した特徴画像データおよび所定の変化の要因の情報に基づいて、焼却炉１を制御することが可能になる。
以上説明した一実施形態によれば、撮像部２６によって撮像された複数の透過画像データを用いて潜在ベクトルによって数値化された特徴量空間を生成し、生成した特徴量空間と焼却炉１におけるプロセスデータとから、対象物における所定の変化に寄与する特徴量を選択し、平均した特徴画像データに対して選択した特徴量の値を変化させた特徴画像データを出力していることにより、平均化した特徴画像データからの差分を導出することによって、所定の変化の要因を画像によって出力可能となる。これにより、焼却炉１内における温度の低下の原因を画像によって認識可能になる。そのため、撮像画像に含まれる情報のうちのいずれの情報が対象物の状況に影響を与えるかを解析することが可能となる。
以上、本発明の一実施形態について具体的に説明したが、本発明は、上述の一実施形態に限定されるものではなく、本発明の技術的思想に基づく各種の変形が可能である。例えば、上述の一実施形態において挙げた数値はあくまでも例に過ぎず、必要に応じてこれと異なる数値を用いても良く、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。
例えば、上述した一実施形態においては、画像生成学習モデル４４ａ、予測学習モデル４４ｂ、特徴量抽出モデル４４ｃ、説明可能ＡＩ４４ｅ、および画像処理データベース４４ｄを記憶部４４に格納しているが、ネットワークを通じて通信可能な他のサーバの記憶部に格納することも可能である。すなわち、画像生成学習モデル４４ａ、予測学習モデル４４ｂ、および特徴量抽出モデル４４ｃを、公衆回路網などのネットワークを介して画像処理装置４０と通信可能な画像サーバの記憶部に格納しておくことも可能である。この場合、撮像部２６が撮像した透過画像データは、ネットワークを介して画像サーバに送信されて記憶部に格納される。同様に、説明可能ＡＩ４４ｅを、ネットワークを通じて通信可能な判定サーバの記憶部に格納しておくことも可能である。
また、例えば、画像処理部４１１および学習部４１３の機能を備えた画像学習部と、学習部４１３および特徴量処理部４１２とを、互いにネットワークを介して通信可能な別の装置に設けても良い。さらに、画像処理部４１１と、特徴量処理部４１２と、学習部４１３とのそれぞれを、ネットワークを介して通信可能な互いに別の装置に設けても良い。
また、例えば、上述した一実施形態においては、機械学習や人工知能（ＡＩ）の例として、ニューラルネットワークを用いたディープラーニング（深層学習）や、Light GBMなどの決定木アルゴリズムに基づいた勾配ブースティングアルゴリズムを扱う機械学習フレームワークや、ＳＨＡＰなどの、いわゆる説明可能な人工知能や、生成モデルの一種であるＧＡＮなどの敵対的生成ネットワークを採用しているが、それ以外の方法に基づく機械学習を行っても良い。また、教師なし学習に代えて半教師あり学習や教師あり学習を用いても良い。
上述した一実施形態においては、対象施設として廃棄物焼却炉、対象物として廃棄物、所定の変化として所定経過時間後における炉内温度の低下を例に説明したが、上述した一実施形態は、その他の対象施設、対象物、および所定の変化に適用可能である。具体的に、適用分野となる対象施設としては、廃棄物焼却炉以外にも、燃焼発電プラント（燃焼発電施設）、水処理プラント（水処理施設）、粉体を貯留する粉体貯留プラント（粉体貯留施設）、および所定の製品を製造する製造プラント（製造施設）などを採用できる。
対象施設を廃棄物焼却炉とした場合、対象物としては、廃棄物（ごみ）や焼却灰などを採用できる。対象物が廃棄物の場合において、所定の変化は、廃棄物のごみ質の変動、すなわち発熱量や動きやすさなどの物理特性とすることができる。この場合、画像処理装置４０によって、廃棄物のごみ質の変動である発熱量や動きやすさなどの物理特性の要因を可視化したり特定したりすることが可能になる。また、対象物が焼却灰の場合において、所定の変化は、焼却灰の性状変動とすることができる。この場合、画像処理装置４０によって、焼却灰の性状変動の要因を可視化したり特定したりすることができる。
対象施設を燃焼発電プラントとした場合、廃棄物焼却炉に併設される燃焼発電プラントなども含まれ、対象物としては、廃棄物などを採用できる。対象物が廃棄物の場合には、所定の変化は、温度の変動、酸化窒素（ＮＯx）の濃度変動、および一酸化炭素（ＣＯ）の濃度変動などとすることができる。この場合、画像処理装置４０によって、燃焼発電プラントにおける、温度の変動、ＮＯxの濃度変動、およびＣＯの濃度変動などの要因を可視化したり特定したりすることができる。同様に、発電量の変動の要因を可視化したり特定したりすることができる。
対象施設を水処理プラントとした場合、対象物としては、処理水を採用でき、画像データとしては、水処理途中の水槽画像や顕微画像などを利用できる。対象物が処理水の場合には、所定の変化は、水槽画像や顕微画像などで観察可能な処理水質の変動などとすることができる。この場合、画像処理装置４０によって、水処理プラントにおける、水槽画像や顕微画像などから、処理水質の変動の要因を可視化したり特定したりすることができる。
また、対象施設を粉体貯留プラントとした場合、対象物としては、貯留される粉体を採用でき、画像データとしては粉体貯留部内を撮像した撮像画像を採用できる。対象物が粉体の場合、所定の変化とは、貯留される粉体のレベルの変化などとすることができる。この場合、画像処理装置４０によって、粉体貯留プラントにおける、粉体の貯留レベルの変動などの要因を可視化したり特定したりすることができる。
また、対象施設を所定の製品の製造プラントとした場合、対象物としては、所定の製品を採用でき、画像データとしては、製造途中の組立品の画像などを利用できる。対象物が所定の製品の場合には、所定の変化は、製品品質などとすることができる。この場合、画像処理装置４０によって、製造プラントにおける、製造途中の組立品の画像などから、製品品質、すなわち良品であるか不良品であるかなどの変動の要因を可視化したり特定したりすることができる。
（記録媒体）
上述の一実施形態において、燃焼制御装置３０、または画像処理装置４０が実行する処理方法を実行させるプログラムを、コンピュータその他の機械やウェアラブルデバイスなどの装置（以下、コンピュータなど、という）が読み取り可能な記録媒体に記録することができる。コンピュータなどに、この記録媒体のプログラムを読み込ませて実行させることにより、当該コンピュータなどが移動体制御装置として機能する。ここで、コンピュータなどが読み取り可能な記録媒体とは、データやプログラムなどの情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータなどから読み取ることができる非一時的な記録媒体をいう。このような記録媒体のうちのコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ／Ｗ、ＤＶＤ、ＢＤ、ＤＡＴ、磁気テープ、フラッシュメモリなどのメモリカードなどがある。また、コンピュータなどに固定された記録媒体としてハードディスク、ＲＯＭなどがある。さらに、ＳＳＤは、コンピュータなどから取り外し可能な記録媒体としても、コンピュータなどに固定された記録媒体としても利用可能である。
また、一実施形態による燃焼制御装置３０、および画像処理装置４０に実行させるプログラムは、インターネットなどのネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。
（その他の実施形態）
一実施形態においては、上述した「部」を、「回路」などに読み替えることができる。例えば、制御部は、制御回路に読み替えることができる。
なお、本明細書におけるフローチャートの説明では、「まず」、「次に」、「その後」、「続いて」などの表現を用いてステップ間の処理の前後関係を明示していたが、本実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
さらなる効果や変形例は、当業者によって容易に導き出すことができる。本開示のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付のクレームおよびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。
１ 焼却炉
１ａ 炉壁
２ 廃棄物投入口
３ 廃棄物供給装置
４ 火格子
５ 灰落下口
６ 燃焼用空気ブロア
７ 炉出口
８ 煙突
９ ボイラ
９ａ 熱交換器
９ｂ 蒸気ドラム
１０ 二次空気吹き込み口
１１ 二次空気ブロア
１２ 廃棄物供給部
１３ 段差壁
１４ 燃焼用空気ダンパ
１４ａ，１４ｂ，１４ｃ，１４ｄ 火格子下燃焼用空気ダンパ
１５ 二次空気ダンパ
１６ 中間天井
１７ 燃焼室ガス温度計
１８ 主煙道ガス温度計
１９ 炉出口下部ガス温度計
２０ 炉出口中部ガス温度計
２１ 炉出口ガス温度計
２２ ボイラ出口酸素濃度計
２３ ガス濃度計
２４ 排ガス流量計
２５ 蒸気流量計
２６ 撮像部
３０ 燃焼制御装置
３１，４１ 制御部
３２，４４ 記憶部
３３ 操作量調整部
４０ 画像処理装置
４２ 出力部
４３ 入力部
４４ａ 画像生成学習モデル
４４ｂ 予測学習モデル
４４ｃ 特徴量抽出モデル
４４ｄ 画像処理データベース
４４ｅ 説明可能ＡＩ
５０ 廃棄物
５１，５１Ａ，５１Ｂ 供給前廃棄物
５２，５２Ａ，５２Ｂ 火格子上廃棄物
３３１ 燃焼用空気量調整部
３３２ 空気量比率調整部
３３３ 二次空気量調整部
３３４ 廃棄物供給装置送り速度調整部
３３５ 火格子送り速度調整部
４１１ 画像処理部
４１２ 特徴量処理部
４１３ 学習部

Claims (9)

  1. ハードウェアを有する制御部を備え、
    前記制御部は、
    対象物の変化または前記対象物の変化に起因する所定の変化の発生を予測するための前記対象物が存在する環境に関連する環境データを取得して記憶部に格納し、
    所定時点から所定経過時間後における前記対象物の変化または前記対象物の変化に起因する所定の変化に関連する前記環境データを、前記所定時点から所定の第１遡及時間前まで遡った範囲内で前記記憶部から読み出し、
    撮像部によって前記対象物が撮像されて生成された撮像画像データを取得して撮像時点の情報と関連付けて前記記憶部に格納し、
    複数の前記撮像画像データを、前記所定時点から所定の第２遡及時間前まで遡った範囲内で前記記憶部から読み出し、
    前記読み出した前記複数の撮像画像データのそれぞれから、数値化された複数の特徴量を抽出して前記記憶部に格納し、
    前記複数の特徴量のうちの前記対象物の変化または前記対象物の変化に起因する所定の変化との相関が大きい特徴量を少なくとも１つ選択し、
    画像データを生成する画像生成学習モデルに、前記抽出した特徴量を入力して特徴画像データを生成し、前記選択した特徴量の数値を変化させることによって前記特徴画像データを変化させて、特徴変化画像データを生成して出力する
    情報処理装置。
  2. 前記制御部は、
    前記数値化された複数の特徴量を平均化した特徴量を入力パラメータとして前記画像生成学習モデルに入力し、前記画像生成学習モデルから、出力パラメータとして平均化された特徴画像データを出力させる
    請求項１に記載の情報処理装置。
  3. 前記制御部は、
    前記平均化された特徴画像データと前記特徴変化画像データとの差分を導出して、前記特徴変化画像データにおける前記所定の変化の要因を抽出する
    請求項２に記載の情報処理装置。
  4. 前記差分が輝度の差分である
    請求項３に記載の情報処理装置。
  5. 前記対象物が焼却炉内の廃棄物であり、前記対象物の存在する環境における前記環境データが、前記焼却炉におけるプロセスデータである
    請求項１に記載の情報処理装置。
  6. 前記対象物の変化に起因する所定の変化が、前記焼却炉内の炉内温度の変化、または前記焼却炉から排出される酸化窒素または一酸化炭素の濃度の変化である
    請求項５に記載の情報処理装置。
  7. 前記第１遡及時間と前記第２遡及時間とが同じ時間である
    請求項１に記載の情報処理装置。
  8. ハードウェアを有する制御部を備えた情報処理装置が実行する情報処理方法であって、
    対象物の変化または前記対象物の変化に起因する所定の変化の発生を予測するための前記対象物が存在する環境に関連する環境データを取得して記憶部に格納し、
    所定時点から所定経過時間後における前記対象物に生じる前記所定の変化に関連する前記環境データを、前記所定時点から所定の第１遡及時間前まで遡った範囲内で前記記憶部から読み出し、
    撮像部によって前記対象物が撮像されて生成された撮像画像データを取得して撮像時点の情報と関連付けて前記記憶部に格納し、
    複数の前記撮像画像データを、前記所定時点から所定の第２遡及時間前まで遡った範囲内で前記記憶部から読み出し、
    前記読み出した前記複数の撮像画像データのそれぞれから、数値化された複数の特徴量を抽出して前記記憶部に格納し、
    前記複数の特徴量のうちの前記対象物の変化または前記対象物の変化に起因する所定の変化との相関が大きい特徴量を少なくとも１つ選択し、
    画像データを生成する画像生成学習モデルに、前記抽出した特徴量を入力して特徴画像データを生成し、前記選択した特徴量の数値を変化させて、前記特徴画像データを変化させた特徴変化画像データを生成する
    情報処理方法。
  9. ハードウェアを有する制御部を備えた情報処理装置における前記制御部に、
    対象物の変化または前記対象物の変化に起因する所定の変化の発生を予測するための前記対象物が存在する環境に関連する環境データを取得して記憶部に格納し、
    所定時点から所定経過時間後における前記対象物に生じる前記所定の変化に関連する前記環境データを、前記所定時点から所定の第１遡及時間前まで遡った範囲内で前記記憶部から読み出し、
    撮像部によって前記対象物が撮像されて生成された撮像画像データを取得して撮像時点の情報と関連付けて前記記憶部に格納し、
    複数の前記撮像画像データを、前記所定時点から所定の第２遡及時間前まで遡った範囲内で前記記憶部から読み出し、
    前記読み出した前記複数の撮像画像データのそれぞれから、数値化された複数の特徴量を抽出して前記記憶部に格納し、
    前記複数の特徴量のうちの前記対象物の変化または前記対象物の変化に起因する所定の変化との相関が大きい特徴量を少なくとも１つ選択し、
    画像データを生成する画像生成学習モデルに、前記抽出した特徴量を入力して特徴画像データを生成し、前記選択した特徴量の数値を変化させて、前記特徴画像データを変化させた特徴変化画像データを生成する
    ことを実行させるプログラム。
JP2022100892A 2022-06-23 2022-06-23 情報処理装置、情報処理方法、およびプログラム Pending JP2024001991A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022100892A JP2024001991A (ja) 2022-06-23 2022-06-23 情報処理装置、情報処理方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022100892A JP2024001991A (ja) 2022-06-23 2022-06-23 情報処理装置、情報処理方法、およびプログラム

Publications (1)

Publication Number Publication Date
JP2024001991A true JP2024001991A (ja) 2024-01-11

Family

ID=89473078

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022100892A Pending JP2024001991A (ja) 2022-06-23 2022-06-23 情報処理装置、情報処理方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP2024001991A (ja)

Similar Documents

Publication Publication Date Title
JP7443683B2 (ja) 自動燃焼制御方法および監視センタ
JP6824859B2 (ja) 炉内状態量推定装置、推定モデル作成装置、それらのプログラムおよび方法
CN113405106B (zh) 一种垃圾焚烧过程的人工智能控制方法
JP2007272361A (ja) プラントの制御装置
JP6977119B1 (ja) 推定システムおよび制御システム
JP2022161065A (ja) ごみ質予測装置、焼却炉の燃焼制御装置、ごみ質予測方法、ごみ質予測モデルの学習方法およびごみ質予測モデルプログラム
JP2007052739A (ja) モデル生成方法、状態予測方法、状態調整方法、モデル生成装置、状態予測装置、及び状態調整システム
JP3712329B2 (ja) プロセスの制御装置
JP2024001991A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7256016B2 (ja) 予測モデル生成装置、予測モデル生成装置による予測モデル生成方法、及び予測装置
Sujatha et al. Soft sensor with shape descriptors for flame quality prediction based on lstm regression
JP7354930B2 (ja) 情報処理装置、情報処理方法、燃焼制御装置、および燃焼制御方法
WO2023063107A1 (ja) 制御装置
JP2022013163A (ja) 情報処理装置、情報処理方法、プログラム、薬剤供給装置、排ガス処理装置、および排ガス処理方法
JP7428080B2 (ja) 情報処理装置、情報処理方法、燃焼制御装置、および燃焼制御方法
JP7354924B2 (ja) 情報処理装置、情報処理方法、廃棄物供給速度の計測装置ならびに計測方法、燃切点の位置測定装置ならびに測定方法、および燃焼制御装置ならびに燃焼制御方法
CN113313204A (zh) 基于深度学习的垃圾焚烧状态辨识方法和焚烧控制方法
JP2022161090A (ja) 廃棄物情報予測装置、焼却炉の燃焼制御装置、廃棄物情報予測方法、廃棄物情報予測モデルの学習方法および廃棄物情報予測モデルプログラム
KR102276894B1 (ko) 발열량 추정 방법, 발열량 추정 장치 및 쓰레기 저장 설비
JP5203763B2 (ja) 石炭焚きボイラの炭種判別装置及び石炭焚きボイラの炭種判別方法
JP2022028463A (ja) 情報処理装置、情報処理方法、燃焼制御装置、および燃焼制御方法
JP7045977B2 (ja) 廃棄物処理プラントのための情報処理装置、情報処理方法及びプログラム
JP2021173495A (ja) 廃棄物供給異常検知方法、廃棄物供給制御方法、廃棄物供給異常検知装置および廃棄物供給制御装置
JP2021173496A (ja) 廃棄物供給異常検知方法、廃棄物供給制御方法、廃棄物供給異常検知装置および廃棄物供給制御装置
JP2021173497A (ja) 廃棄物供給異常検知方法、廃棄物供給制御方法、廃棄物供給異常検知装置および廃棄物供給制御装置