JP7256016B2 - 予測モデル生成装置、予測モデル生成装置による予測モデル生成方法、及び予測装置 - Google Patents

Description

本発明は、予測モデル生成装置等に関する。

従来から、焼却炉等の加熱炉内を撮像した画像データに基づき、加熱炉に対する制御プロセス値（制御量）を決定する技術が開発されている。このような技術の一例が、特許文献１及び２に開示されている。

特許文献１には、ストーカ式焼却炉の燃焼制御方法の一例が開示されている。当該燃焼制御方法では、赤外線カメラで撮像された画像に基づき、可燃物層（ごみの燃焼層）の表面における低温領域の面積を算出する。そして、算出した低温領域の面積と、検出器により検出された、排ガス熱を回収するボイラの発生蒸気量とに基づき、ストーカ式焼却炉にごみを投入するためのフィーダの作動速度、及びストーカ式焼却炉へ送り込む空気量等の調整を行う。

特許文献２には、ビジュアルフィードバック制御装置の一例が開示されている。当該制御装置では、記憶された画像データ、操作量データ及び未来の操作量を、制御対象の未来の画像を予測する予測モデルに与えて未来の予測画像を取得する。そして、この予測画像と、目標画像に対する差分及び制約条件とに基づき操作量を求め、当該操作量を適宜予測モデルにフィードバックする。

特開２００３－１６１４２１号公報 特許第３２１０４７３号公報

特許文献１の技術は、現状の燃焼状態に基づき上記作動速度及び空気量等を調整するものであって、特許文献１には、画像から制御プロセス値を予測する旨の開示はない。一方、特許文献２には、予測画像を用いて制御プロセス値を予測することが開示されているが、開示される予測画像の取得方法および予測では、現在求められている精度の高い制御プロセス値の予測には不十分であることが見込まれる。

本発明の一態様は、高い精度で制御プロセス値の予測を行うことが可能な学習済モデルを生成できる予測モデル生成装置等を実現することを目的とする。

上記の課題を解決するために、本発明の一態様に係る予測モデル生成装置は、プラントによる処理対象が撮像された過去の複数の画像から、時系列に沿って複数の画像を取得する画像抽出部と、前記画像抽出部が取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、学習対象画像群として特定する画像特定部と、前記画像特定部が特定した学習対象画像群と、当該学習対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を示す傾向情報と、を対応付けた教師データを用いて機械学習を行うことにより、前記変化傾向を予測可能な学習済モデルを生成するモデル生成部と、を備える。

さらに、上記の課題を解決するために、本発明の一態様に係る予測モデル生成装置による予測モデル生成方法は、プラントによる処理対象が撮像された過去の複数の画像から、時系列に沿って複数の画像を取得する画像抽出ステップと、前記画像抽出ステップにて取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、学習対象画像群として特定する画像特定ステップと、前記画像特定ステップにて特定した学習対象画像群と、当該学習対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を示す傾向情報と、を対応付けた教師データを用いて機械学習を行うことにより、前記変化傾向を予測可能な学習済モデルを生成するモデル生成ステップと、を含む。

本発明の一態様に係る予測モデル生成装置及び予測モデル生成方法によれば、高い精度で制御プロセス値を予測可能な学習済モデルを生成できる。

本実施形態に係るごみ焼却発電プラントの制御システムの一例を示すブロック図である。 本実施形態に係る予測モデル生成装置の構成例を示すブロック図である。 （ａ）及び（ｂ）は、撮像装置が撮像した画像の一例を示す図である。 （ａ）～（ｄ）は、画像特定部による処理の概要を説明するための図である。 （ａ）～（ｃ）は、画像抽出部が抽出した画像の中から、画像特定部が学習対象画像群を特定するまでの処理の概要を説明するための図である。 （ａ）は、予測モデル生成装置における処理の流れの一例を示すフローチャートであり、（ｂ）は、図７に示す予測装置における処理の流れの一例を示すフローチャートである。 本実施形態に係る予測装置の構成例を示すブロック図である。

〔ごみ焼却発電プラント〕
まず、図１を用いて、本実施形態のごみ焼却発電プラント１の制御システムの一例について説明する。図１は、ごみ焼却発電プラント１の制御システムの一例を示すブロック図である。

上記制御システムは、主として、ごみ焼却発電プラント１、予測モデル生成装置２、及び予測装置３を備える。

ごみ焼却発電プラント１は、処理対象としてのごみを焼却すると共に、焼却時に発生した蒸気を用いて発電を行うプラントである。ごみ焼却発電プラント１は、主として、燃焼制御装置１０、ごみピット１１、ストーカ式焼却炉１２（焼却炉）、ストーカ制御装置１３、空気量調整装置１４、ボイラ１５、蒸気タービン発電機１６、及び蒸気量検出装置１７を備える。

ごみピット１１は、ごみ収集車等により収集されたごみが投入され、集積される場所である。ごみピット１１に集積されたごみは、ごみクレーン（不図示）によりストーカ式焼却炉１２に搬送される。

ストーカ式焼却炉１２は、ごみを移動させながら燃焼可能とするストーカ１２１を備える。ストーカ１２１には、複数の火格子が階段状に設置されている。各火格子が並設された方向（前後方向）に移動することにより、ごみは、上段の火格子から下段の火格子へと移動しながら焼却される。

また、ストーカ式焼却炉１２は、撮像装置１２２を備える。撮像装置１２２は、ストーカ式焼却炉１２の炉内で燃焼されるごみを撮像する。本実施形態では、撮像装置１２２は、ストーカ１２１の下段側の上方に設けられている。撮像装置１２２は、撮像した画像（画像データ）を、予測モデル生成装置２又は予測装置３に送信する。

撮像装置１２２としては、例えば赤外線カメラが適用される。赤外線カメラは、撮像波長を適切に選択することにより、炎の影響を除いた画像を撮像できるため、予測モデル生成装置２及び予測装置３の処理で用いる、ごみの像を含む画像を取得することが可能となる。

なお本実施形態では、撮像装置１２２は動画像を撮像するが、複数の静止画像を撮像するものであっても構わない。

ストーカ制御装置１３は、ストーカ１２１の動作を制御する。例えば、ストーカ制御装置１３は、各火格子の移動速度（ごみの送り速度）を制御する。また、空気量調整装置１４は、ストーカ式焼却炉１２に送り込む空気の量を調整する。

ボイラ１５は、蒸気タービン発電機１６に送るための蒸気を発生させる。ボイラ１５は、ストーカ式焼却炉１２と接続されており、ストーカ式焼却炉１２においてごみの燃焼により発生したガスを受け取る。ボイラ１５は、受け取ったガスの熱を利用して蒸気を発生させる。

蒸気タービン発電機１６は、ボイラ１５と接続されており、ボイラ１５が発生した蒸気を受けて発電する。

蒸気量検出装置１７は、ボイラ１５の内部に設けられ、ボイラ１５が発生させた蒸気量を検出するセンサである。蒸気量検出装置１７は、検出した蒸気量（蒸気量データ）を予測モデル生成装置２に送信する。

予測モデル生成装置２は、撮像装置１２２から取得した画像（学習済モデル（予測モデル）生成のために撮像された画像）と、蒸気量検出装置１７から取得した蒸気量とに基づき、所定時間経過後の蒸気量の変化傾向を予測するための学習済モデルを生成する。予測モデル生成装置２は、生成した学習済モデルを予測装置３に記憶させる。

予測装置３は、ごみを撮像した画像に基づいて蒸気量の変化傾向を予測する。具体的には、予測装置３は、撮像装置１２２が撮像した画像（変化傾向を予測するために撮像した画像）を、予測モデル生成装置２が生成した学習済モデルに入力する。これにより、予測装置３は、撮像装置１２２が当該画像を撮像したときから所定時間経過後の蒸気量の変化傾向を予測する。また、予測装置３は、この予測結果を燃焼制御装置１０に送信する。

燃焼制御装置１０は、ストーカ制御装置１３及び空気量調整装置１４を制御することで、ボイラ１５が発生する蒸気量が一定量に維持されるように、火格子の移動速度、及び炉内に送り込む空気量を調整する。これは、蒸気タービン発電機１６が安定して発電を行うためには、ボイラ１５により発生させる蒸気量が一定量に維持されることが望まれるためである。燃焼制御装置１０は、予測装置３の予測結果に応じて、当該移動速度及び空気量の値（調整値）をそれぞれ決定し、当該調整値をストーカ制御装置１３及び空気量調整装置１４にそれぞれ送信する。

なお、ごみの燃焼により発生する蒸気量は、ごみ焼却発電プラント１の制御プロセス値の一例である。制御プロセス値は、プラントにおいて処理対象に対する処理が効率良く行われるために制御されるべき値である。ごみ焼却発電プラント１においては、ごみの燃焼、及び当該燃焼に伴う発電が効率良く行われるために制御されるべき、ボイラ１５が発生させる蒸気量、炉内の温度、炉内の圧力、及び炉内に存在する所定気体の濃度等の値が制御プロセス値として挙げられる。また所定気体の例としては、酸素、一酸化炭素等が挙げられる。

以上述べたように、ボイラ１５が発生させる蒸気量を一定量に維持することは、蒸気タービン発電機１６による発電量を安定させるために必要である。そのため、予測モデル生成装置２で蒸気量の変化傾向を学習させ、その学習結果を用いて予測装置３が当該変化傾向の予測を行うことにより、蒸気量を一定量に維持するように火格子の移動速度等を制御することが可能となる。従って、蒸気量の変化傾向の予測により発電量の安定化を図ることが可能となる。

続いて、予測モデル生成装置２及び予測装置３の詳細について説明する。

〔予測モデル生成装置〕
次に、図２～図４を用いて、予測モデル生成装置２の構成例について説明する。図２は、予測モデル生成装置２の構成例を示すブロック図である。図３の（ａ）及び（ｂ）は、撮像装置１２２が撮像した画像の一例を示す図である。図４の（ａ）～（ｄ）は、画像特定部２１３による処理の概要を説明するための図である。

図２に示すように、予測モデル生成装置２は、主として、制御部２１及び記憶部２２を備える。制御部２１は、予測モデル生成装置２を統括的に制御するものである。記憶部２２は、制御部２１が実行する各種のプログラム、及び当該プログラムによって使用されるデータを記憶する。当該データとしては、例えば、撮像装置１２２が撮像した画像、及び蒸気量検出装置１７が検出した蒸気量が挙げられる。記憶部２２には、過去にごみを燃焼したときのごみを撮像した複数の画像（動画像）が記憶される。

制御部２１は、主として、画像抽出部２１１、暗転画像除外部２１２（画像除外部）、画像特定部２１３、教師データ生成部２１４、及びモデル生成部２１５を備える。

画像抽出部２１１は、ごみが撮像された過去（例えば３ヶ月前）の複数の画像から、時系列に沿って一定期間の動画像（複数のフレーム画像）を取得し、さらに、この一定期間の動画像から所定間隔で複数の画像を抽出する。この抽出された複数の画像が暗転画像除外部２１２の処理対象となる。なお、撮像された複数の静止画像が記憶部２２に記憶されている場合、画像抽出部２１１は、それら複数の静止画像を、撮像された順に、記憶部２２から取得しても構わない。

この一定期間および所定間隔は、後述の画像特定部２１３で特定される画像が必要な数取得できると推定される期間および間隔に設定される。例えば、一定期間を６０分、所定間隔を１０フレーム毎と設定してもよい。なお、所定間隔を１０フレーム毎とするとは、動画像の画像データの１０フレームのうちの１フレームを採用することであり、これにより処理するデータ量を減少させている。

暗転画像除外部２１２は、画像抽出部２１１が抽出した画像から、輝度値が所定値以下である画像を除外することにより、画像特定部２１３の処理対象となる輝度値が所定値よりも大きな画像を抽出する。すなわち、暗転画像除外部２１２は、画像抽出部２１１が抽出した複数の画像のうち、輝度値が所定値よりも大きいものを画像特定部２１３への入力対象とする。なお、所定値（所定の輝度値）は、画像特定部２１３の処理で必要とされる輝度値である。

図３の（ａ）は輝度値が高く、暗転画像でないと識別される画像の一例であり、図３の（ｂ）は輝度値が低く、暗転画像と識別される画像の一例である。なお、画像において、上側がストーカ１２１の上段側、下側がストーカ１２１の下段側となっている。

なお、このような輝度値が低い画像（つまり暗い画像）が取得される原因の一例として、灰が挙げられる。ストーカ１２１の下段には、燃焼済のごみの灰を受け入れる灰収集ピット（不図示）が設けられている。この灰収集ピットに灰が落下したときに、撮像装置１２２とストーカ１２１との間に灰が舞い上がる。このときに撮像された画像には灰が映り込むためである。

暗転画像除外部２１２は、例えば、画像抽出部２１１が抽出した画像を構成する画素毎の輝度値を用いて、当該画像の輝度値の平均値及び標準偏差を算出する。暗転画像除外部２１２は、算出した平均値及び標準偏差をそれぞれ閾値と比較し、平均値及び標準偏差の何れか一方が閾値以下であると判定した場合に、抽出した画像を暗転画像であると判定する。

なお、暗転画像除外部２１２では、ごみ領域の移動量を算出するのに不適な画像が暗転画像として特定されればよい。そのため、上記閾値は、実験等を経て、画像においてごみ領域を抽出できる程度に設定されていればよい。また、平均値及び標準偏差の両方が閾値以下となった場合に、抽出した画像が暗転画像であると判定されても構わないし、更に、平均値及び標準偏差以外の判定指標が用いられても構わない。

画像特定部２１３は、暗転画像除外部２１２が処理した複数の画像から、教師データ生成部２１４が教師データとして用いる画像を複数特定する。具体的には、画像特定部２１３は、前後関係のある２枚の画像におけるごみ領域を構成する画素の移動量を算出し、移動量が所定範囲内となる画像を教師データとして用いるための学習対象画像として特定する。このようにして、前の画像に対するごみ領域の移動量が所定範囲内にある画像を複数含む画像群を、学習対象画像群として特定することを実現する。

２枚の画像から移動量を算出する手段として、例えば公知の技術であるオプティカルフローが適用できる。焼却炉の燃焼状態を撮像した画像では、移動体として撮像されるものはごみだけであるため、２枚の画像に対してオプティカルフローを適用することによりごみの移動量が算出される。なお、オプティカルフローを用いた移動量の算出の例については、後ほど説明を行う。

以下、画像特定部２１３について、より詳細な説明を行う。画像特定部２１３は、暗転画像除外部２１２から入力された複数の画像のうち、最後に撮像された画像を基準画像として選択する。なお、最後に撮像された画像とは、画像抽出部２１１において抽出された一定期間の動画像のうち、最も新しい画像を指す。なお、厳密に最後の画像である必要はなく、最後の画像に近い画像を基準画像として選択してもよい。

次に、暗転画像除外部２１２から受け取った複数の画像のうち、この基準画像よりも１つ前の時間に撮像された画像を対象画像として選択し、基準画像とこの対象画像との間におけるごみ領域の移動量を算出する。

算出した移動量が所定範囲に達しない場合は、対象画像よりも１つ前の時間に撮像された画像を新たな対象画像として選択し、基準画像と新たな対象画像とを用いて移動量を計算する。これを基準画像に対して移動量が所定範囲に達する画像が対象画像として選択されるまで繰り返す。

移動量が所定範囲に達する対象画像と基準画像との組が見つかった場合、基準画像を教師データ生成部２１４に渡す第１の学習対象画像として特定する。そして、この時の対象画像を第２の学習対象画像として特定すると共に、新たな基準画像として設定する。

続いて、この新たな基準画像に対して、先の基準画像に対して行った処理と同様の処理を行う。そして、この新たな基準画像との移動量が所定範囲に達する対象画像が見つかった場合には、この時の対象画像を第３の学習対象画像として特定すると共に、新たな基準画像として設定する。

これを、学習対象画像が少なくとも所定数に達するまで繰り返す。なお、学習対象画像の所定数、及び所定範囲として用いる移動量は、所定時間経過後の蒸気量の変化傾向を精度良く予測できるように設定されればよい。例えば、実験によって得られた蒸気量の変化傾向と一致する、又はそれに近い変化傾向を示す傾向情報を出力できるように設定されればよい。例えば上記所定数（予め定められた枚数）は１０枚と設定してもよい。

なお、学習の精度を維持するため、画像抽出部２１１で画像を抽出する一定期間は、予め定められた枚数が確実に確保できるように設定することが望ましい。他の手段として、画像特定部２１３が受け取った画像について全ての移動量を算出した状態になっても必要な数の学習対象画像が収集できない場合には、画像抽出部２１１が取得した一定期間の画像に連続し、この一定期間よりも前の期間の連続する画像を新たに取得し、この新たに取得した複数の画像から不足する画像を特定するようにしてもよい。

また、所定範囲として用いる移動量としては、例えばごみの実際の移動距離として５００ｃｍ以上６００ｃｍ以下としてもよく、例えば画素の移動量として５００pixel以上６００pixel以下としてもよい。本実施形態では、所定範囲として下限のみを確認するようにしているが、これは火格子の動きが撮像装置１２２のフレームレートに対して十分に遅く、所定範囲の上限を超える可能が極めて低いという事情によるものである。このため、必要に応じて上限を超えていないかという確認を行ってよいことはいうまでもない。

なお、上述の制御部２１の各機能ブロックに関して例示した数値は、この予め定められた枚数が１０枚以上とする場合に対応するもので、その際の焼却炉のパラメータとして、火格子の移動速度（すなわちごみの移動速度）は６ｍ/ｈ～１６ｍ／ｈ、動画の撮像フレームレートは１０ｆｐｓとしている。

ここで、図４を用いて、連続する２つの画像からオプティカルフローを用いた移動量の算出の例を示す。図４の（ａ）は、連続する２つの画像のうち、移動量算出の基準となる元画像の一例を示すものである。図４の（ｂ）は、画像特定部２１３が算出した、オプティカルフローによる移動量の算出結果の一例を描画したものである。図４の（ｂ）の例では、移動量が、ごみ領域を構成する各画素の動きベクトルＶｒとして描画されることにより、元画像が変化した状態を示している。

なお、移動量算出に際し、算出した動きベクトルのｘ成分及びｙ成分を抽出しても構わない。この場合、画像特定部２１３は、画素毎のｘ成分の移動量（動きベクトルのｘ成分の大きさ）と、画素毎のｙ成分の移動量（動きベクトルのｙ成分の大きさ）とを算出する。図４の（ｃ）は、画素毎のｘ成分の移動量の大きさの分布を表現したものであり、図４の（ｄ）は、画素毎のｙ成分の移動量の大きさの分布を表現したものである。図４の（ｄ）では、白く表現されている部分ほど、移動量が大きいことを示している。

また、移動量の算出に関し、ごみ領域を構成する画素毎に画素の移動量を算出するようにした場合には、画像特定部２１３は、例えば、画素毎に算出した移動量の総和を算出し、当該総和が閾値以上である場合に、移動量が所定範囲内にあると判定しても構わない。さらに、画像特定部２１３は、例えば、画素毎に算出した移動量のうち、最大値をとる移動量が閾値以上である場合に、移動量が所定範囲内にあると判定しても構わない。

さらに、動きベクトルのｘ成分及びｙ成分が算出されている場合には、画像特定部２１３は、例えば、ｘ成分及びｙ成分の何れもが閾値以上であると判定した場合に、移動量が所定範囲内にあると判定しても構わない。

教師データ生成部２１４は、画像特定部２１３が特定した学習対象画像群と、当該学習対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の蒸気量の変化傾向を示す傾向情報と、を対応付けて教師データを生成する。

具体的には、教師データ生成部２１４は、画像特定部２１３が特定した学習対象画像群と、例えば、当該学習対象画像群の最後の画像を撮像したときから所定時間経過後の蒸気量の変化傾向を示す傾向情報と、を対応付けて１つの教師データを生成する。このようにして生成された教師データは、モデル生成部２１５へ送られる。

この傾向情報は、例えば、最後の画像を取得したとき、及び所定時間経過後において実際に蒸気量検出装置１７によって取得された蒸気量の実測値を用いて算出される。もちろん、最後の画像を取得したときから所定時間経過後に至る途中の蒸気量の実測値も用いてもよい。

教師データ生成部２１４は、例えば、最後の画像を撮像した時点から変化傾向を予測したい時点の間の複数の実測値に基づく近似式を算出すると共に、当該近似式の傾きを算出する。教師データ生成部２１４は、算出した傾きが負である場合、蒸気量が減少するというパターンに該当すると判定する。また、当該傾きが正である場合、蒸気量が増加するというパターンに該当すると判定する。また、教師データ生成部２１４は、当該傾きが０または略０である場合には、蒸気量は維持されるというパターンに該当すると判定する。

なお、上記の例では、傾向情報として特定されるパターンとして、蒸気量の減少、増加及び維持の３段階が設定されているが、これに限られない。上記パターンとして、例えば、減少量：大、減少量：小、維持、増加量：小、増加量：大の５段階が設定されていても構わない。また、教師データ生成部２１４は、傾向情報として、例えば最後の画像を撮像したときから所定時間経過後の蒸気量そのものの値（予測値）を算出しても構わない。

また、所定時間としては、本実施形態では、例えば、リアルタイムに画像を撮像してから５分後～１０分後を想定している。つまり、５分後～１０分後の変化傾向の予測を想定している。上記所定時間経過後の変化傾向の予測を実現するために、１つの学習対象画像群に含まれる画像の数が設定されてもよく、例えば１０枚に設定される。なお、所定時間は、実験等を経て、燃焼完了時間（例：約２時間）を上限として適宜設定されてもよいが、所定時間が長くなるほど予測の難易度は増加すると見込まれる。

教師データ生成部２１４は、画像特定部２１３により生成された複数の学習対象画像群のそれぞれについて傾向情報を特定する。そして、教師データ生成部２１４は、複数の学習対象画像群のそれぞれと、特定した上記傾向情報とを対応付けた教師データを複数生成し、当該教師データをモデル生成部２１５に入力する。

なお、上記説明では、学習対象画像群に含まれる画像のうちの最後の画像を撮像したときから所定時間経過後の蒸気量の実測値を、学習対象画像群に対応付けたが、最後の画像に限らず、任意の画像を撮像したときから所定時間経過後の蒸気量の実測値を、学習対象画像群に対応付けてもよい。この場合、予測対象となる所定時間を最後の画像を撮像する場合から適宜調整すればよい。

モデル生成部２１５は、教師データ生成部２１４が生成した教師データを用いて機械学習を行うことにより、蒸気量の変化傾向を予測可能な学習済モデルを生成する。精度の高い学習モデルを構築するため、モデル生成部２１５で用いられる教師データの数は１万個以上あると好ましい。このため、画像抽出部２１１は、過去１万個以上の一定期間の画像データを取得することが望まれる。また、ごみ焼却炉は年間スケジュールを立てて運用することが一般的であるため、これらの画像データは季節の偏りなく取得された画像データであることが好ましい。

モデル生成部２１５は、具体的には、適用可能なアルゴリズムは特に限定されないが、ニューラルネットワーク等の機械学習アルゴリズムを利用することが好ましく、特に深層学習したニューラルネットワーク（例えば３次元畳み込みニューラルネットワーク（３Ｄ ＣＮＮ）等）に教師データを入力しながら、当該３Ｄ ＣＮＮのパラメータを調整することで、学習済モデルを構築する。

なお本実施形態では、モデル生成部２１５は、学習モデル（適用可能な機械学習アルゴリズム）として、３次元畳み込みニューラルネットワーク（３Ｄ ＣＮＮ）を用いているが、変化傾向を予測可能な学習済モデルを生成できるのであれば、これに限らず、２次元ＣＮＮ、又はその他の機械学習アルゴリズムを用いても構わない。

＜処理の流れ＞
図５及び図６の（ａ）を用いて、予測モデル生成装置２における処理（予測モデル生成装置２による予測モデル生成方法）の流れについて説明する。図５の（ａ）～（ｃ）は、画像抽出部２１１が抽出した画像の中から、画像特定部２１３が学習対象画像群を特定するまでの処理の概要を説明するための図である。図６の（ａ）は、予測モデル生成装置２における処理の流れの一例を示すフローチャートである。

画像抽出部２１１は、ごみが撮像された過去の複数の画像から、時系列に沿って一定期間の動画像を取得する（ステップＳ１）。図５の（ａ）は、取得された一定期間の動画像のうちの一部を示すものである。

さらに、画像抽出部２１１は、この一定期間の動画像から所定間隔で複数の画像を抽出する（ステップＳ２）。図５では、ステップＳ２は、図５の（ａ）に示す動画像から図５の（ｂ）に示す画像を抽出することに相当する。

暗転画像除外部２１２は、画像の輝度値が所定値以下のものを除外し（ステップＳ３）、所定値よりも輝度値が大きなものを画像特定部２１３に入力する。図５ではこの説明を省略する。

画像特定部２１３は、暗転画像除外部２１２から入力された複数の画像のうち、最後に撮像された画像を基準画像（Ｂ＿ＩＭＧ１）として選択する（ステップＳ４）。次に、この基準画像よりも１つ前の時間に撮像された画像を対象画像（Ｔ＿ＩＭＧ１）として選択し（ステップＳ５）、基準画像とこの対象画像との間におけるごみ領域の移動量を算出する。そして、この移動量が所定範囲内であるか否かを判定する（ステップＳ６）。

この移動量が所定範囲に達していない場合は（ステップＳ６でＮｏ）、対象画像よりも１つ前の時間に撮像された画像を新たな対象画像（Ｔ＿ＩＭＧ２）とし、基準画像と新たな対象画像とを用いて移動量を算出する。これを基準画像に対して移動量が所定範囲に達する画像が対象画像として選択されるまで繰り返す（ステップＳ５およびＳ６）。

基準画像と対象画像との間におけるごみ領域の移動量が所定範囲に達していた場合（ステップＳ６でＹｅｓ）、基準画像（Ｂ＿ＩＭＧ１）及びこの時の対象画像（Ｔ＿ＩＭＧ３）をそれぞれ、教師データ生成部２１４で用いる第１の学習対象画像（Ｓ＿ＩＭＧ１）及び第２の学習対象画像（Ｓ＿ＩＭＧ２）として特定する（ステップＳ７）。

画像特定部２１３は、特定された学習対象画像の枚数をカウントしており、学習対象画像が所定数となったか否かを判定する（ステップＳ８）。所定数に達していない場合は（ステップＳ８でＮｏ）、移動量が所定範囲内となった対象画像（Ｔ＿ＩＭＧ３）を新たな基準画像（Ｂ＿ＩＭＧ２）として選択し（ステップＳ９）、学習対象画像が所定枚数となるまでステップＳ５～ステップＳ９を繰り返す。図５の（ｃ）では、複数の学習対象画像（Ｓ＿ＩＭＧ１～Ｓ＿ＩＭＧ４）が特定されている。

画像特定部２１３は、学習対象画像が所定数となった場合（ステップＳ８でＹｅｓ）、画像の特定を終了する。このとき、所定数の学習対象画像（Ｓ＿ＩＭＧ）群が特定される。

教師データ生成部２１４は、学習対象画像（Ｓ＿ＩＭＧ）群とこの学習対象画像群に対応する傾向情報とを、正解データ（ラベル）として紐づけて教師データとする（ステップＳ１０）。モデル生成部２１５は、教師データ生成部２１４が生成した教師データを用いて学習済モデルを生成する（ステップＳ１１）。

以上のように構成することにより、次のような効果が期待される。

＜主な効果＞
通常、ごみの移動量、すなわちごみの移動速度はごみの燃焼状態等に応じて様々に変化する。例えば、一定の時間間隔で画像を抽出し、所定時間経過後の蒸気量の変化傾向を示す傾向情報と対応付けて教師データを作成する場合、その移動速度毎に応じた教師データを準備する必要が生じる。一方、本実施形態では、ごみの移動量が所定範囲内となる画像と所定時間経過後の蒸気量の変化傾向を示す傾向情報と対応付けて教師データを作成しているため、ごみの移動速度毎に応じた教師データを準備する必要がない。すなわち、ごみの移動速度が変動した場合であっても、その変動が教師データに与える影響を抑制できることになる。

また、ごみの移動速度毎に応じた教師データを準備する必要がないため、ごみの移動速度が異なるものも教師データとして利用することができ、教師データとして利用できる画像と傾向情報との組み合わせの数を大幅に増加させることが可能となる。すなわち、同じ変化傾向に含まれる画像群の総数を増加させることができる。このため、予測の精度を大幅に向上させることが期待できる。

〔予測装置〕
次に、図７を用いて、予測装置３の構成例について説明する。図７は、予測装置３の構成例を示すブロック図である。予測装置３は、主として、制御部３１及び記憶部３２を備える。制御部３１は、予測装置３を統括的に制御するものである。記憶部３２は、制御部３１が実行する各種のプログラム、及び当該プログラムによって使用されるデータを記憶する。当該データとしては、例えば、撮像装置１２２が撮像した画像、及び予測モデル生成装置２が生成した学習済モデルが挙げられる。記憶部３２には、燃焼しているごみをリアルタイムに撮像した複数の画像（動画像又は複数の静止画像）が記憶される。

制御部３１は、主として、画像抽出部３１１、暗転画像除外部３１２、画像特定部３１３、変化傾向予測部３１４、及び予測結果出力部３１５を備える。

画像抽出部３１１は、画像抽出部２１１と同様の機能を有する。但し、ごみが撮像された複数の画像（ごみ焼却中に撮像された複数の画像であって、現時点で撮像された画像を含む）において、現時点から過去に遡って所定期間の複数の画像を取得する点で、画像抽出部２１１と異なる。なお、現時点とは、おおよそ現時点とみなすことができることができる時点であり、厳密な現時点のみに限定されるものではない。暗転画像除外部３１２は、暗転画像除外部２１２と同様の機能を有する。画像特定部３１３は、暗転画像除外部３１２が処理した複数の画像から、変化傾向予測部３１４が用いる、予測モデル生成装置２が生成した学習済モデルへの入力対象画像を複数特定する。

なお、画像特定部３１３が特定する、１つの入力対象画像群に含まれる画像の数は、画像特定部２１３が特定した、１つの学習対象画像群に含まれる画像の数と同一である。また、予測モデル生成装置２で生成された学習済モデルに入力することで、所定時間経過後の蒸気量の変化傾向を予測できるため、画像特定部３１３が特定する入力対象画像群は１つでよい。

変化傾向予測部３１４は、画像特定部３１３が特定した入力対象画像群を、予測モデル生成装置２が生成した学習済モデルに入力する。これにより、変化傾向予測部３１４は、入力対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の変化傾向を予測する。具体的には、変化傾向予測部３１４は、入力対象画像群と相関度が高い学習対象画像群に対応する傾向情報（例えば、減少量：大、減少量：小、維持、増加量：小、増加量：大の何れか）を出力する。予測結果出力部３１５は、変化傾向予測部３１４が予測した変化傾向を示す傾向情報を、燃焼制御装置１０に出力する。

燃焼制御装置１０では、傾向情報と調整値（火格子の移動速度、及びストーカ式焼却炉１２の炉内に送り込む空気量）とが対応付けて記憶されている。燃焼制御装置１０は、変化傾向予測部３１４が予測した傾向情報に応じた調整値を用いて、当該移動速度及び空気量を調整する。これにより、ボイラ１５が発生させる蒸気量を一定量に維持できる。

＜処理の流れ＞
次に、図６の（ｂ）を用いて、予測装置３における処理（予測方法）の流れについて説明する。図６の（ｂ）は、予測装置３における処理の流れの一例を示すフローチャートである。

図６の（ｂ）に示すように、画像抽出部３１１は、ごみが撮像された複数の画像（現時点で撮像された画像を含む）において、現時点から過去に遡って所定期間の動画像を取得する（ステップＳ２１）。その後、ステップＳ２２～ステップＳ２９の処理は、ステップＳ２～ステップＳ９の処理と同様である。但し、ステップＳ２７及びＳ２８では、ステップＳ７及びステップＳ８の学習対象画像を入力対象画像とする。

画像特定部３１３は、入力対象画像が所定数となった場合（ステップＳ２８でＹｅｓ）、画像の特定を終了する。変化傾向予測部３１４は、画像特定部３１３が特定した入力対象画像群を、予測モデル生成装置２が生成した学習済モデルに入力する。これにより、変化傾向予測部３１４は、予測モデル生成装置２による学習結果を反映した傾向情報を出力する（ステップＳ３０）。

予測結果出力部３１５は、変化傾向予測部３１４が予測した変化傾向を示す傾向情報を燃焼制御装置１０に出力する（ステップＳ３１）。これにより、燃焼制御装置１０は、傾向情報が維持以外の値を示している場合に、将来に亘り蒸気量が一定量に維持されるように、火格子の移動速度等を調整できる。

このように、燃焼制御装置１０は、予測装置３の予測結果を受けて、火格子の移動速度等を調整する。これにより、燃焼制御装置１０は、蒸気量の変動が生じる前に、その変動が生じないように火格子の移動速度等を調整できる。従って、蒸気量を一定量に維持する（蒸気の発生を安定化させる）ための人による監視が不要となり、当該監視を無人化できる。

＜主な効果＞
本実施形態では、画像抽出部３１１は、現在を基点として過去に遡って画像を抽出する。画像特定部３１３は、画像抽出部３１１が抽出した画像のうち、ごみ領域の移動量が所定範囲内にある画像を特定し、予測装置３で蒸気量の変化傾向を予測するときに用いる入力対象画像群とする。この入力対象画像群を予測モデル生成装置２が生成した学習済モデルに入力する。これにより、入力対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の蒸気量の変化傾向を精度良く予測できる。所定時間経過後の蒸気量の予測により、火格子の送り速度又は二次空気量の変更などを行うことが可能となり、蒸気量を一定量に維持できる。その結果、蒸気量の変動が生じる前に燃焼制御を行うことが可能となり、安定した燃焼制御を実現できる。

〔補足事項〕
本実施形態では、ストーカ式焼却炉１２に投入されたごみを処理対象とするごみ焼却発電プラント１の制御について説明した。つまり、ごみ焼却発電プラント１を制御するために、予測モデル生成装置２で生成した学習済モデルを用いて、予測装置３で蒸気量の変化傾向を予測し、燃焼制御装置１０がこの予測結果に基づき火格子の移動速度等を制御する制御システムについて説明した。

しかしながら、制御システムの制御対象は、ごみ焼却発電プラント１に限られない。当該制御対象は、処理対象の処理状況に応じて処理環境が変化するプラントであって、当該処理環境を所定の環境に維持するために制御プロセス値を制御するプラントであれば、どのようなプラントであっても構わない。

また、本実施形態の制御システムでは、制御プロセス値としての蒸気量の変化傾向を学習させることで当該変化傾向の予測を行っているが、これに限られない。制御プロセス値としての、炉内の温度、炉内の圧力、及び炉内に存在する所定気体の濃度等の値を学習させることで、これらの値の予測を行っても構わない。この場合も、予測結果と、火格子の移動速度、及び炉内に送り込む空気量との対応関係を示すデータに従って、予測結果に応じた移動速度及び空気量に制御されることで、制御プロセス値を所望の値に維持できる。

また、本実施形態では、予測モデル生成装置２は暗転画像除外部２１２を備えているが、必ずしも備えている必要は無い。制御システムの制御対象がごみ焼却発電プラント１とは異なる種類のプラントである場合、撮像した画像に、舞い上がった灰が映り込んでしまうことは無い。つまり、灰が舞い上がることが無いプラントにおいて予測モデル生成装置を用いる場合には、暗転画像除外部２１２を備える必要は無い。換言すれば、ごみ焼却発電プラント１においては、移動量算出に不要となる暗転画像が発生するために、予測モデル生成装置２が暗転画像除外部２１２を備えることは有益である。この点については、暗転画像除外部３１２についても同様のことがいえる。

〔ソフトウェアによる実現例〕
予測モデル生成装置２の制御ブロック（特に制御部２１の各部）、及び予測装置３の制御ブロック（特に制御部３１の各部）は、集積回路（ＩＣチップ）等に形成された論理回路（ハードウェア）によって実現してもよいし、ソフトウェアによって実現してもよい。

後者の場合、予測モデル生成装置２及び予測装置３は、各機能を実現するソフトウェアであるプログラムの命令を実行するコンピュータを備えている。このコンピュータは、例えば少なくとも１つのプロセッサ（制御装置）を備えていると共に、上記プログラムを記憶したコンピュータ読み取り可能な少なくとも１つの記録媒体を備えている。そして、上記コンピュータにおいて、上記プロセッサが上記プログラムを上記記録媒体から読み取って実行することにより、本発明の目的が達成される。上記プロセッサとしては、例えばＣＰＵ（Central Processing Unit）を用いることができる。上記記録媒体としては、「一時的でない有形の媒体」、例えば、ＲＯＭ（Read Only Memory）等の他、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記プログラムを展開するＲＡＭ（Random Access Memory）などをさらに備えていてもよい。また、上記プログラムは、該プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに供給されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

〔付記事項〕
本発明の態様１に係る予測モデル生成装置は、プラントによる処理対象が撮像された過去の複数の画像から、時系列に沿って複数の画像を取得する画像抽出部と、前記画像抽出部が取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、学習対象画像群として特定する画像特定部と、前記画像特定部が特定した学習対象画像群と、当該学習対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を示す傾向情報と、を対応付けた教師データを用いて機械学習を行うことにより、前記変化傾向を予測可能な学習済モデルを生成するモデル生成部と、を備える。

さらに、本発明の態様２に係る予測モデル生成装置では、態様１において、前記画像抽出部が取得した画像から、輝度値が所定値以下である画像を除外することにより、前記画像特定部への入力対象とする画像を抽出する画像除外部を備えても構わない。

さらに、本発明の態様３に係る予測モデル生成装置は、態様１又は２において、前記画像特定部は、前記画像抽出部が取得した画像のうちの２つの画像における前記処理対象の領域を構成する画素の移動量を、前記領域の移動量として算出しても構わない。

さらに、本発明の態様４に係る予測モデル生成装置は、態様１から３の何れかにおいて、前記処理対象は、ごみ焼却発電プラントの焼却炉に投入されたごみであり、前記制御プロセス値は、前記ごみの燃焼により発生する蒸気量であっても構わない。

さらに、本発明の態様５に係る予測モデル生成装置による予測モデル生成方法は、プラントによる処理対象が撮像された過去の複数の画像から、時系列に沿って複数の画像を取得する画像抽出ステップと、前記画像抽出ステップにて取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、学習対象画像群として特定する画像特定ステップと、前記画像特定ステップにて特定した学習対象画像群と、当該学習対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を示す傾向情報と、を対応付けた教師データを用いて機械学習を行うことにより、前記変化傾向を予測可能な学習済モデルを生成するモデル生成ステップと、を含む。

さらに、本発明の態様６に係る予測装置は、前記処理対象を撮像した画像に基づいて、前記変化傾向を予測する予測装置であって、前記処理対象を撮像した複数の画像において、現時点から過去に遡って所定期間の複数の画像を取得する画像抽出部と、前記画像抽出部が取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、入力対象画像群として特定する画像特定部と、前記画像特定部が特定した入力対象画像群を、態様１から４の何れかに記載の予測モデル生成装置が生成した前記学習済モデルに入力することにより、前記入力対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を予測する変化傾向予測部と、を備える。

なお、本発明の各態様に係る予測モデル生成装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記予測モデル生成装置が備える各部（ソフトウェア要素）として動作させることにより上記予測モデル生成装置をコンピュータにて実現させる予測モデル生成装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

最後に、本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。さらに、各実施形態にそれぞれ開示された技術的手段を組み合わせることにより、新しい技術的特徴を形成することができる。

１ ごみ焼却発電プラント（プラント）
２ 予測モデル生成装置
３ 予測装置
１２ ストーカ式焼却炉（焼却炉）
２１１ 画像抽出部
２１２ 暗転画像除外部（画像除外部）
２１３ 画像特定部
２１５ モデル生成部
３１１ 画像抽出部
３１３ 画像特定部
３１４ 変化傾向予測部

Claims (6)

1. プラントによる処理対象が撮像された過去の複数の画像から、時系列に沿って複数の画像を取得する画像抽出部と、
   前記画像抽出部が取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、学習対象画像群として特定する画像特定部と、
   前記画像特定部が特定した学習対象画像群と、当該学習対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を示す傾向情報と、を対応付けた教師データを用いて機械学習を行うことにより、前記変化傾向を予測可能な学習済モデルを生成するモデル生成部と、を備える、予測モデル生成装置。
2. 前記画像抽出部が取得した画像から、輝度値が所定値以下である画像を除外することにより、前記画像特定部への入力対象とする画像を抽出する画像除外部を備える、請求項１に記載の予測モデル生成装置。
3. 前記画像特定部は、前記画像抽出部が取得した画像のうちの２つの画像における前記処理対象の領域を構成する画素の移動量を、前記領域の移動量として算出する、請求項１又は２に記載の予測モデル生成装置。
4. 前記処理対象は、ごみ焼却発電プラントの焼却炉に投入されたごみであり、
   前記制御プロセス値は、前記ごみの燃焼により発生する蒸気量である、請求項１から３の何れか１項に記載の予測モデル生成装置。
5. プラントによる処理対象が撮像された過去の複数の画像から、時系列に沿って複数の画像を取得する画像抽出ステップと、
   前記画像抽出ステップにて取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、学習対象画像群として特定する画像特定ステップと、
   前記画像特定ステップにて特定した学習対象画像群と、当該学習対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を示す傾向情報と、を対応付けた教師データを用いて機械学習を行うことにより、前記変化傾向を予測可能な学習済モデルを生成するモデル生成ステップと、を含む、予測モデル生成方法。
6. 前記処理対象を撮像した画像に基づいて、前記変化傾向を予測する予測装置であって、
   前記処理対象を撮像した複数の画像において、現時点から過去に遡って所定期間の複数の画像を取得する画像抽出部と、
   前記画像抽出部が取得した画像のうち、前の画像に対する前記処理対象の領域の移動量が所定範囲内にある画像を複数含む画像群を、入力対象画像群として特定する画像特定部と、
   前記画像特定部が特定した入力対象画像群を、請求項１から４の何れか１項に記載の予測モデル生成装置が生成した前記学習済モデルに入力することにより、前記入力対象画像群に含まれる任意の画像を撮像したときから所定時間経過後の、前記プラントにおける制御プロセス値の変化傾向を予測する変化傾向予測部と、を備える、予測装置。

Images