JP7414964B2

JP7414964B2 - 空調制御の学習装置および推論装置

Info

Publication number: JP7414964B2
Application number: JP2022510379A
Authority: JP
Inventors: 貴則京屋
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2024-01-16
Anticipated expiration: 2040-03-27
Also published as: CN115280077A; CN115280077B; WO2021192280A1; JPWO2021192280A1

Description

本開示は、空調制御の学習装置および推論装置に関する。

従来、空調対象の空間の快適性を向上させる空調制御が知られている。たとえば、特開平５－２５６４９３号公報（特許文献１）には、風速センサ等による空調制御によって、温熱環境指数ＰＭＶ（Predicted Mean Vote）値を用いて空調ゾーンを安定して快適に維持する構成が開示されている。

特開平５－２５６４９３号公報

一般的に、工場内の空調制御は、一定、もしくは作業者の感性に応じた手動による制御が行われる場合が多い。また、特許文献１の温熱環境指数ＰＭＶ（Predicted Mean Vote）値は一般解としての快適性であり、作業者の生産性との相関は不明である。特許文献１においては、工場の作業者の生産性を向上させることについて考慮されていない。

本開示は、上述のような課題を解決するためになされたものであり、その目的は、工場の作業者の生産性を向上させることである。

本開示の一局面に係る学習装置は、少なくとも１つの設備を含む工場の空調システムの制御を学習する。学習装置は、第１データ取得部と、モデル生成部とを備える。第１データ取得部は、少なくとも１つの設備および空調システムの状態を表す第１パラメータと、空調システムの空調の強度に関する第２パラメータとを含む学習用データを取得する。モデル生成部は、学習用データを用いて、第１パラメータから、第２パラメータを推論する学習済みモデルを生成する。第１パラメータは、少なくとも１つの設備の各々において作業を行う作業者の識別情報、少なくとも１つの設備によって生産される製品の品目、少なくとも１つの設備の識別情報、製品のタクトタイム、製品の品質に関する情報、および第１パラメータが取得された時刻に関する情報を含む。

本開示の他の局面に係る推論装置は、少なくとも１つの設備を含む工場の空調システムの制御を出力する。推論装置は、データ取得部と、推論部とを備える。データ取得部は、少なくとも１つの設備および空調システムの状態を表す第１パラメータを取得する。推論部は、第１パラメータから空調システムの空調の強度に関する第２パラメータを推論する学習済みモデルを用いて、データ取得部によって取得された第１パラメータから第２パラメータを出力する。第１パラメータは、少なくとも１つの設備の各々において作業を行う作業者の識別情報、少なくとも１つの設備によって生産される製品の品目、少なくとも１つの設備の識別情報、製品のタクトタイム、製品の品質に関する情報、および第１パラメータが取得された時刻に関する情報を含む。

本開示に係る学習装置および推論装置によれば、第１パラメータが少なくとも１つの設備の各々において作業を行う作業者の識別情報、少なくとも１つの設備によって生産される製品の品目、少なくとも１つの設備の識別情報、製品のタクトタイム、製品の品質に関する情報、および第１パラメータが取得された時刻に関する情報を含むことにより、工場の作業者の生産性を向上させることができる。

実施の形態に係る学習装置および推論装置を備える管理サーバ、および管理サーバによって制御される空調システムおよび工場の構成の一例を示すブロック図である。作業時間、設備の識別情報、品目、作業者の識別情報、予想最適温度、および空調強度の一例を示す図である。図１の学習装置の構成を示すブロック図である。図３の学習装置の学習処理を示すフローチャートである。図１の推論装置の構成を示すブロック図である。図５の推論装置の推論処理を示すフローチャートである。図１の情報処理システムのハードウェア構成を示すブロック図である。

以下、本開示の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一または相当部分には同一符号を付してその説明は原則として繰り返さない。

図１は、実施の形態に係る学習装置１００および推論装置２００を備える管理サーバ１０、および管理サーバ１０によって制御される空調システム２０および工場３０の構成の一例を示すブロック図である。図２は、作業時間、設備の識別情報、品目、作業者の識別情報、予想最適温度、および空調強度の一例を示す図である。図１および図２を参照しながら、工場３０は、設備Ｅｑ１，Ｅｑ２，Ｅｑ３とを含む。ワークＷｒｋは、設備Ｅｑ１～Ｅｑ３の順に作業工程を経由して製品Ｐｒｄとして出荷される。設備Ｅｑ１～Ｅｑ３においては、作業者Ｏｐ１，Ｏｐ２，Ｏｐ３が作業を行っている。

管理サーバ１０は、情報処理システム１１と、データ収集／処理システム１２とを含む。情報処理システム１１は、学習装置１００と、推論装置２００とを含む。管理サーバ１０は、温湿度センサＳｎ１，Ｓｎ２，Ｓｎ３から、設備Ｅｑ１の温度および湿度、設備Ｅｑ２の温度および湿度、および設備Ｅｑ３の温度および湿度を無線通信によってそれぞれ取得する。管理サーバ１０は、温湿度センサＳｎ１０から室外機２１の温度および湿度を空調コントローラ２３を介して有線通信によって取得する。管理サーバ１０は、温湿度センサＳｎ１１から室内機２２の温度および湿度をデータ収集／処理システム１２を介して有線通信によって取得する。管理サーバ１０は、生産現場の空調制御推定パラメータＰｒｍ１（第１パラメータ）を取得する。空調制御推定パラメータＰｒｍ１は、設備Ｅｑ１～Ｅｑ３の各々において作業を行う作業者Ｏｐ１～Ｏｐ３の識別情報、設備Ｅｑ１～Ｅｑ３によって生産される製品Ｐｒｄの品目、設備Ｅｑ１～Ｅｑ３の識別情報、製品Ｐｒｄのタクトタイム、製品Ｐｒｄの品質に関する情報、および空調制御推定パラメータＰｒｍ１が取得された時刻に関する情報を含む。製品Ｐｒｄの品質に関する情報は、たとえば、検査工程において行われる品質検査の結果、あるいは歩留まりに関する情報が含まれる。空調制御推定パラメータＰｒｍ１は、作業者Ｏｐ１～Ｏｐ３の各々の作業中の画像を含んでもよい。

空調システム２０は、室外機２１と、室内機２２と、空調コントローラ２３とを含む。室外機２１は、工場３０の外部に配置されている。室内機２２および空調コントローラ２３は、工場３０内に配置されている。室外機２１は、ファン、圧縮機、および熱交換器を含む。室内機２２は、ファン、熱交換器および膨張弁を含む。空調コントローラ２３は、サーモスタットを含む。空調コントローラ２３は、管理サーバ１０からの空調強度制御パラメータＰｒｍ２（第２パラメータ）を受けて、室外機２１および室内機２２を制御する。空調強度制御パラメータＰｒｍ２は、サーモスタットのＯＮ／ＯＦＦ、圧縮機の回転周波数、ファンの風力、冷媒の蒸発温度、および冷媒の凝縮温度を含む。

図３は、図１の学習装置１００の構成を示すブロック図である。図３に示されるように、学習装置１００は、データ取得部１１０（第１データ取得部）と、モデル生成部１２０とを備える。データ取得部１１０は、および空調制御推定パラメータＰｒｍ１および空調強度制御パラメータＰｒｍ２を学習用データとして取得する。

モデル生成部１２０は、空調制御推定パラメータＰｒｍ１および空調強度制御パラメータＰｒｍ２を含む学習用データを用いて、空調強度制御を学習する。すなわち、モデル生成部１２０は、空調制御推定パラメータＰｒｍ１から空調強度制御パラ―メータＰｒｍ２を推論する学習済みモデルを生成する。モデル生成部１２０が用いる学習アルゴリズムは教師あり学習、教師なし学習、あるいは強化学習等の公知のアルゴリズムを用いることができる。以下では、一例として、強化学習（Reinforcement Learning）を適用した場合について説明する。強化学習では、或る環境内におけるエージェント（行動主体）が、現在の状態（環境のパラメータ）を観測し、取るべき行動を決定する。エージェントの行動により環境が動的に変化し、エージェントには環境の変化に応じて報酬が与えられる。エージェントはこれを繰り返し、一連の行動を通じて報酬が最も多く得られる行動方針を学習する。強化学習の代表的な手法として、Ｑ学習（Q-learning）またはＴＤ学習（TD-learning）が知られている。たとえば、Ｑ学習の場合、行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）の一般的な更新式は以下の式（１）のように表される。

式（１）において、ｓ_ｔは時刻ｔにおける環境の状態を表し、ａ_ｔは時刻ｔにおける行動を表す。行動ａ_ｔにより、状態はｓ_ｔからｓ_ｔ＋１に変わる。ｒ_ｔ＋１は状態の変化によって得られる報酬を表し、γは割引率を表し、αは学習係数を表す。なお、γは０＜γ≦１の範囲であり、αは０＜α≦１の範囲とする。空調強度制御パラメータＰｒｍ２が行動ａ_ｔとなり、生産現場の空調制御推定パラメータＰｒｍ１が状態ｓ_ｔとなる。エージェントは、式（１）に示される行動価値関数Ｑ（ｓ，ａ）の更新を繰り返しながら、時刻ｔの状態ｓ_ｔにおける最良の行動ａ_ｔを学習する。

式（１）で表される更新式は、時刻ｔ＋１における最も行動価値Ｑ（評価値）の高い行動ａのＱ値が時刻ｔにおいて実行された行動ａの行動価値Ｑよりも大きい場合、行動価値Ｑを大きくする。逆の場合、当該更新式は、行動価値Ｑを小さくする。換言すれば、時刻ｔにおける行動ａの行動価値Ｑを、時刻ｔ＋１における最良の行動価値に近づけるように、行動価値関数Ｑ（ｓ，ａ）を更新する。それにより、或る環境における最良の行動価値が、それ以前の環境における行動価値に順次伝播していくようになる。

上記のように、強化学習によって学習済みモデルを生成する場合、モデル生成部１２０は、報酬計算部１２１と、関数更新部１２２とを備えている。報酬計算部１２１は、空調制御推定パラメータＰｒｍ１および空調強度制御パラメータＰｒｍ２を用いて報酬を計算する。報酬計算部１２１は、単位時間当たりに工場３０において実際に生産された製品Ｐｒｄの数(たとえば個／時)を表す生産性の増減に応じて報酬ｒを計算する。具体的には、報酬計算部１２１は、工場３０の生産性と作業者Ｏｐ１～Ｏｐ３の各々の個別の基準生産性の合計との乖離度合い、あるいは工場３０の生産性と基準タクトタイムに対応する基準生産性との乖離度合いに応じて報酬ｒを計算する。たとえば、工場３０の生産性が前回よりも増加する場合には報酬ｒを増大させ（たとえば「１」の報酬を与える。）、他方、工場３０の生産性が前回よりも減少する場合には報酬ｒを低減する（たとえば「－１」の報酬を与える。）。

関数更新部１２２は、報酬計算部１２１によって計算される報酬に従って、空調強度制御パラメータＰｒｍ２を決定するための関数を更新し、学習済みモデル記憶部１４０に出力する。たとえばＱ学習の場合、式（１）で表される行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）が空調強度制御パラメータＰｒｍ２を算出するための関数として用いられる。

学習装置１００は、以上のような学習を繰り返し実行する。学習済みモデル記憶部１４０は、関数更新部１２２によって更新された行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）である学習済みモデルを記憶する。

図４は、図３の学習装置１００の学習処理を示すフローチャートである。以下ではステップを単にＳと記載する。図４に示されるように、Ｓ１０１において、データ取得部１１０は、空調制御推定パラメータＰｒｍ１および空調強度制御パラメータＰｒｍ２を学習用データとして取得する。具体的には、データ取得部１１０は、作業者Ｏｐ１～Ｏｐ３の各々の識別情報に当該作業者が作業をしている設備の識別情報、当該作業者に応じた基準タクトタイム、および作業時間を付与し、温度および湿度に当該温度および湿度が測定された位置情報および時間情報を付与する。

Ｓ１０２において、モデル生成部１２０は、空調制御推定パラメータＰｒｍ１および空調強度制御パラメータＰｒｍ２を用いて報酬を計算する。具体的には、報酬計算部１２１は、空調制御推定パラメータＰｒｍ１および空調強度制御パラメータＰｒｍ２を取得し、予め定められた報酬基準である基準生産性と実際の工場３０の生産性との乖離度合に基づいて空調強度制御パラメータＰｒｍ２に対応する報酬を増加させるか（Ｓ１０３）または報酬を減じるか（Ｓ１０４）を判断する。報酬計算部１２１は、実際の工場３０の生産性が基準生産性よりも大きい場合、Ｓ１０３において報酬を増大させる。一方、報酬計算部１２１は、実際の工場３０の生産性が基準生産性よりも小さい場合、Ｓ１０４において報酬を減少させる。

なお、報酬基準として、製品Ｐｒｄの歩留まりが基準歩留まりより大きい場合に報酬を増加させ、小さい場合に報酬を減少させるという基準が用いられてもよい。その結果、製品Ｐｒｄの品質を向上させることができる。

Ｓ１０５において、関数更新部１２２は、報酬計算部１２１によって計算された報酬および式（１）を用いて、学習済みモデル記憶部１４０が記憶する行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）を更新する。

学習装置１００は、以上のＳ１０１からＳ１０５までのステップを繰り返し実行し、生成された行動価値関数Ｑ（ｓ_ｔ，ａ_ｔ）を学習済みモデルとして記憶する。なお、学習装置１００においては、学習済みモデルを学習装置１００の外部に設けられた学習済みモデル記憶部１４０に記憶する構成としたが、学習済みモデル記憶部１４０を学習装置１００の内部に形成してもよい。

図５は、図１の推論装置２００の構成を示すブロック図である。推論装置２００は、データ取得部２１０と、推論部２２０とを含む。データ取得部２１０は、空調制御推定パラメータＰｒｍ１を取得する。推論部２２０は、学習済みモデル記憶部１４０に記憶されている学習済みモデルを利用して空調強度制御パラメータＰｒｍ２を推論する。すなわち、学習済みモデルにデータ取得部２１０が取得した生産現場の空調制御推定パラメータＰｒｍ１を入力することで、生産現場の空調制御推定パラメータＰｒｍ１に適した空調強度制御パラメータＰｒｍ２を推論することができる。なお、実施の形態では、図３のモデル生成部１２０で学習された学習済みモデルを用いて空調強度制御パラメータＰｒｍ２を推論する構成を説明したが、他の環境で学習された学習済みモデルを用いて空調強度制御パラメータを出力するようにしてもよい。

図６は、図５の推論装置２００の推論処理を示すフローチャートである。図６に示されるように、Ｓ２０１において、データ取得部２１０は、生産現場の空調制御推定パラメータＰｒｍ１を取得する。Ｓ２０２において、推論部２２０は学習済みモデル記憶部１４０に記憶された学習済みモデルに生産現場の空調制御推定パラメータＰｒｍ１を入力し、空調強度制御パラメータＰｒｍ２を得て、Ｓ２０３において空調強度制御パラメータＰｒｍ２を空調システム２０に出力する。Ｓ２０４において、空調システム２０は、推論装置２００から出力された空調強度制御パラメータＰｒｍ２を用いて、近い未来に予測される生産性変化量を増加させる強度となる空調制御を実施する。これにより、従来の一律の温度設定を用いる空調制御で避けられなかった人、設備、費目、および時間に依存して発生する生産性変動という課題に対し、推定される近い未来の生産性を向上させる空調制御を実施し、安定かつ高い生産性を維持することができる。

なお、本実施の形態では、推論部が用いる学習アルゴリズムに強化学習を適用した場合について説明したが、学習アルゴリズムは強化学習に限られるものではない。学習アルゴリズムについては、強化学習以外にも、教師あり学習、教師なし学習、または半教師あり学習等を適用することも可能である。

また、モデル生成部１２０に用いられる学習アルゴリズムとしては、特徴量そのものの抽出を学習する、深層学習（Deep Learning）を用いることもでき、他の公知の方法、たとえばニューラルネットワーク、遺伝的プログラミング、機能論理プログラミング、もしくはサポートベクターマシンなどに従って機械学習が実行されてもよい。

なお、学習装置１００および推論装置２００は、たとえば、ネットワークを介して空調システム２０に接続される、空調システム２０とは別個の装置であってもよい。また、学習装置１００および推論装置２００は、空調システム２０に内蔵されていてもよい。さらに、学習装置１００および推論装置２００は、クラウドサーバ上に存在していてもよい。

また、作業者毎のデータを直接取得するのではなく、作業者のペルソナを、年齢、熟練度、および性別（たとえば２０歳代の新人の男性）と複数の観点から設定し、ペルソナ毎の作業者モデルを設定することで、作業者データを簡略化してもよい。同様に工場、設備、ラインを複数のモデルとして予め準備することにより、空調制御推定パラメータＰｒｍ１のデータ構成を簡素化してもよい。

また、モデル生成部１２０は、複数の空調システム２０から取得される学習用データを用いて、空調強度制御を学習するようにしてもよい。なお、モデル生成部１２０は、同一のエリアで使用される複数の空調システム２０から学習用データを取得してもよいし、異なるエリアで独立して動作する複数の空調システム２０から収集される学習用データを利用して空調強度制御を学習してもよい。また、学習用データを収集する空調システム２０を途中で学習対象に追加したり、学習対象から除去することも可能である。さらに、或る空調システム２０に関して空調強度制御を学習した学習装置１００を、これとは別の空調システム２０に適用し、当該別の先回り空調システムに関して空調強度制御を再学習して更新するようにしてもよい。

図７は、図１の情報処理システム１１のハードウェア構成を示すブロック図である。図７に示されるように、情報処理システム１１は、処理回路５１と、メモリ５２（記憶部）と、入出力部５３とを含む。処理回路５１は、メモリ５２に格納されるプログラムを実行するＣＰＵ（Central Processing Unit）を含む。処理回路５１は、ＧＰＵ（Graphics Processing Unit）を含んでもよい。情報処理システム１１の機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアあるいはファームウェアはプログラムとして記述され、メモリ５２に格納される。処理回路５１は、メモリ５２に記憶されたプログラムを読み出して実行する。なお、ＣＰＵは、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、プロセッサ、あるいはＤＳＰ（Digital Signal Processor）とも呼ばれる。

メモリ５２には、不揮発性または揮発性の半導体メモリ（たとえばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、あるいはＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory））、および磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、あるいはＤＶＤ（Digital Versatile Disc）が含まれる。メモリ５２には、たとえば、学習済みモデル、空調プログラム、および機械学習プログラムが保存される。

入出力部５３は、ユーザからの操作を受けるとともに、処理結果をユーザに出力する。入出力部５３は、たとえば、マウス、キーボード、タッチパネル、ディスプレイ、およびスピーカを含む。

以上、実施の形態に係る学習装置および推論装置によれば、工場の作業者の生産性を向上させることができる。

今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

１０管理サーバ、１１情報処理システム、１２データ収集／処理システム、２０空調システム、２１室外機、２２室内機、２３空調コントローラ、３０工場、５１処理回路、５２メモリ、５３入出力部、１００学習装置、１１０，２１０データ取得部、１２０モデル生成部、１２１報酬計算部、１２２関数更新部、１４０学習済みモデル記憶部、２００推論装置、２２０推論部、Ｅｑ１～Ｅｑ３設備、Ｏｐ１～Ｏｐ３作業者、Ｐｒｄ製品、Ｓｎ１～Ｓｎ３，Ｓｎ１０，Ｓｎ１１温湿度センサ、Ｗｒｋワーク。

Claims

少なくとも１つの設備を含む工場の空調システムの制御を学習する学習装置であって、
前記少なくとも１つの設備および前記空調システムの状態を表す第１パラメータと、前記空調システムの空調の強度に関する第２パラメータとを含む学習用データを取得する第１データ取得部と、
前記学習用データを用いて、前記第１パラメータから、前記第２パラメータを推論する学習済みモデルを生成するモデル生成部とを備え、
前記第１パラメータは、前記少なくとも１つの設備の各々において作業を行う作業者の識別情報、前記少なくとも１つの設備によって生産される製品の品目、前記少なくとも１つの設備の識別情報、前記製品のタクトタイム、前記製品の品質に関する情報、および前記第１パラメータが取得された時刻に関する情報を含み、
前記空調システムは、ファン、圧縮機、およびサーモスタットを含み、
前記第２パラメータは、前記サーモスタットのＯＮ／ＯＦＦ、前記圧縮機の回転周波数、前記ファンの風力、冷媒の蒸発温度、および前記冷媒の凝縮温度の少なくとも１つを含む、学習装置。
前記第１パラメータは、前記作業者の作業中の画像を含む、請求項１に記載の学習装置。
前記学習済みモデルは、前記第１パラメータと、前記第２パラメータの評価値とが関連付けられた関数を含む、請求項１または２に記載の学習装置。
前記モデル生成部は、前記第２パラメータに従って制御された前記空調システムによる空調の下での前記工場内の生産性と基準生産性との乖離度合いに応じて前記第２パラメータの評価値を更新する、請求項３に記載の学習装置。
前記モデル生成部は、前記第２パラメータに従って制御された前記空調システムによる空調の下で生産された前記製品の歩留まりの変化に応じて前記第２パラメータの評価値を更新する、請求項３に記載の学習装置。
前記第１パラメータを取得する第２データ取得部と、
請求項１～５のいずれか１項に記載の学習装置によって生成された前記学習済みモデルを用いて、前記第２データ取得部によって取得された前記第１パラメータから前記第２パラメータを出力する推論部とを備える、推論装置。
少なくとも１つの設備を含む工場の空調システムの制御を出力する推論装置であって、
前記少なくとも１つの設備および前記空調システムの状態を表す第１パラメータを取得するデータ取得部と、
前記第１パラメータから前記空調システムの空調の強度に関する第２パラメータを推論する学習済みモデルを用いて、前記データ取得部によって取得された前記第１パラメータから前記第２パラメータを出力する推論部とを備え、
前記第１パラメータは、前記少なくとも１つの設備の各々において作業を行う作業者の識別情報、前記少なくとも１つの設備によって生産される製品の品目、前記少なくとも１つの設備の識別情報、前記製品のタクトタイム、前記製品の品質に関する情報、および前記第１パラメータが取得された時刻に関する情報を含み、
前記空調システムは、ファン、圧縮機、およびサーモスタットを含み、
前記第２パラメータは、前記サーモスタットのＯＮ／ＯＦＦ、前記圧縮機の回転周波数、前記ファンの風力、冷媒の蒸発温度、および前記冷媒の凝縮温度の少なくとも１つを含む、推論装置。
前記第１パラメータは、前記作業者の作業中の画像を含む、請求項７に記載の推論装置。
前記学習済みモデルは、前記第１パラメータと、前記第２パラメータの評価値とが関連付けられた関数を含む、請求項７または８に記載の推論装置。