JP7173907B2 - 空調機の予冷運転又は予暖運転の運転条件を決定する機械学習装置 - Google Patents

Description

空調機の予冷運転又は予暖運転の運転条件を決定する機械学習装置。

特許文献１（特許６２７０９９６号公報）には、空気調和対象の空間にユーザがいない時間に空調機を制御する不在制御が開示されている。この不在制御は、空気調和対象の空間にユーザが帰ってきた時に快適性を向上させる目的で行われる。不在制御においては、空調機を動作させる時間の長さ、及び、空調機の負荷処理量を決定するために、不在時間の長さ、空気調和対象の空間を持つ建物の躯体性能、及び在室開始時の空調負荷が参照される。

上述の特許文献においては、機械学習への言及はない。

第１観点に係る機械学習装置は、空調機の予冷運転又は予暖運転の運転条件を決定する。機械学習装置は、取得部と、学習部と、を備える。取得部は、予冷運転又は予暖運転時の室温データ、設定温度データ、および外気温データを状態変数として取得する。学習部は、状態変数と、予冷運転又は予暖運転の開始後の室温および設定温度に基づいて、予冷運転又は予暖運転の運転条件を学習する。

この構成によれば、予冷運転又は予暖運転の運転条件が、機械学習によって導出される。したがって、ユーザの快適性又は省エネ効果が向上する。

第２観点に係る機械学習装置は、第１観点に係る機械学習装置において、予冷運転又は予暖運転の運転条件は、運転開始時刻、を含む。

第３観点に係る機械学習装置は、第１観点又は第２観点に係る機械学習装置において、空調機は、利用熱交換器と、利用ファンと、圧縮機と、を有する。予冷運転又は予暖運転の運転条件は、利用熱交換器の温度、利用ファンの回転数、圧縮機の回転数、のうちの少なくとも１つを含む。

第４観点に係る機械学習装置は、第３観点に係る機械学習装置において、取得部は、前記状態変数として、空調機の熱処理量に関するデータ、空調機の利用ユニットが空調する空間を囲う躯体のデータ、予冷運転又は予暖運転前の外気温データ、予冷運転又は予暖運転前の日射データ、予冷運転又は予暖運転前の気象データ、及び、予冷運転又は記予暖運転時の季節又は月、の少なくとも１つを、さらに取得する。

第５観点に係る機械学習装置は、第４観点に係る機械学習装置において、空調機の熱処理量に関する前記データは、圧縮機の前記回転数、利用熱交換器の前記温度、利用熱交換器の吸気側において測定される吸込温度、の少なくとも１つを含む。

第６観点に係る機械学習装置は、第４観点又は第５観点に係る機械学習装置において、躯体のデータは、躯体の経年数、躯体の断熱性、躯体の窓の仕様、躯体が構成する部屋のサイズ、躯体の換気量、躯体の向き、躯体が構成する部屋に隣接する部屋の空調機の運転情報、のうちの少なくとも１つを含む。

第７観点に係る機械学習装置は、第１観点から第６観点のいずれか１つに係る機械学習装置において、学習部が、報酬設定部、をさらに備える。報酬設定部は、予冷運転又は予暖運転の開始後の室温および設定温度、に基づいて報酬を決定する。学習部は、状態変数と、報酬と、に基づいて予冷運転又は予暖運転の運転条件を学習する。

第８観点に係る機械学習装置は、第７観点に係る機械学習装置において、報酬設定部は、さらに、予冷運転又は予暖運転の開始後のある時点までに要した電力量、に基づいて報酬を決定する。

第９観点に係る機械学習装置は、第８観点に係る機械学習装置において、予冷運転又は予暖運転の開始後のある時点は、予冷運転又は予暖運転の終了時である。

第１０観点に係る機械学習装置は、第８観点又は第９観点に係る機械学習装置において、報酬設定部は、予冷運転又は予暖運転の終了時における室温および設定温度の差が小さいときに報酬を増大させ、又は、電力量が小さいときに前記報酬を増大させる。

第１１観点に係る機械学習装置は、第７観点から第１０観点のいずれか１つに係る機械学習装置において、学習部が、行動価値関数を保持する行動価値関数保持部と、前記行動価値関数を更新する行動価値関数更新部と、をさらに有する。行動価値関数は、運転条件に対して受け取ることが期待される報酬の期待値を示す。行動価値関数更新部は、実際に得られた報酬に基づいて行動価値関数を更新する。

機械学習装置１００の構成を示す模式図である。 空調機１０の構成を示す模式図である。 制御部４０のブロック図である。 機械学習装置１００のブロック図である。 機械学習装置１００の処理を示すフローチャートである。

（１）全体構成
図１は、機械学習装置１００を示す。機械学習装置１００は、空調機１０を含む。空調機１０は、熱源ユニット１０ａ、利用ユニット１０ｂを有する。空調機１０は、空気調和対象の部屋Ｒに設置される。

機械学習装置１００は、不在制御を行うことができる。不在制御とは、空気調和対象の空間（部屋Ｒ）にユーザがいない時間に行う空調機１０の制御である。不在制御において行う冷房運転を予冷運転という。不在制御において行う暖房運転を予暖運転という。

（２）詳細構成
（２－１）空調機１０
空調機１０は、部屋Ｒの空気を調和する。図２は空調機１０の構成を示す。空調機１０は、圧縮機１１、四路切換弁１２、熱源熱交換器１３、熱源ファン１４、膨張弁１５、利用熱交換器１６、利用ファン１７、制御部４０を有する。空調機１０は、さらに、外気温センサ１９ａ、室温センサ１９ｂ、熱源熱交換器温度センサ１９ｃ、利用熱交換器温度センサ１９ｄ、圧縮機吸入温度センサ１９ｅ、圧縮機吐出温度センサ１９ｆ、図示しない圧力センサなどを有する。冷房運転の場合には、冷媒は実線の矢印の方向に循環する。暖房運転の場合には、冷媒は破線の矢印の方向に循環する。

図２の構成では、１台の熱源ユニット１０ａと１台の利用ユニット１０ｂが接続されている。これに代えて、１台の熱源ユニット１０ａに複数の利用ユニット１０ｂが接続される構成を採用してもよい。制御部４０は、熱源ユニット１０ａ及び利用ユニット１０ｂのいずれに搭載されてもよい。あるいは、制御部４０は、熱源ユニット１０ａ及び利用ユニット１０ｂの両方に分かれて搭載されてもよい。

（２－２）制御部４０
図３は制御部４０のブロック図である。制御部４０は、例えばマイクロコンピュータである。制御部４０は、専用のプログラムを実行することにより、空調機制御部４１、在室情報取得部４４、運転内容決定部４５として機能する。

空調機制御部４１は、空調機１０を制御する。具体的には、図２に示すように、空調機制御部４１は、圧縮機１１、四路切換弁１２、熱源ファン１４、膨張弁１５、利用ファン１７の動作を制御する。さらに、空調機制御部４１は、温度センサ１９ａ～１９ｆから温度情報を取得する。さらに、空調機制御部４１は、ユーザにより入力された設定温度データＴｓを保持する。さらに、空調機制御部４１は、空調機１０の消費電力を把握する。

図３に示す在室情報取得部４４は、部屋Ｒからユーザが出て行く時刻、及び部屋Ｒにユーザが戻ってくる時刻についての情報を、例えば人感センサ出力の統計結果に基づいて取得する。代替的に、在室情報取得部４４は、部屋Ｒからユーザが出て行く時刻、及び部屋Ｒにユーザが戻ってくる時刻についての情報を、マニュアル入力により受け取ってもよい。

運転内容決定部４５は、実行すべき予冷運転又は予暖運転において、空調機１０をどのように運転させるかを総合的に決定する。

（３）運転内容決定部４５の詳細
（３－１）構成
図４は、機械学習装置１００のブロック図である。運転内容決定部４５は、取得部４５１、学習部４５２を有する。

取得部４５１は、空調機１０の温度センサ１９ａ～１９ｆの出力、在室情報取得部４４の出力、その他の信号を状態変数として取得する。例えば、取得部４５１は、室温センサ１９ｂ、外気温センサ１９ａの出力に基づいて、それぞれ、室温データ、外気温データを状態変数として取得する。取得部４５１はさらに、空調機制御部４１が保持している設定温度データＴｓを状態変数として取得する。さらに、取得部４５１は、在室情報取得部４４の出力に基づいて、ユーザが部屋Ｒに帰ってくるまでの時間を状態変数として取得する。取得部４５１は、状態変数として、
－ 空調機１０の熱処理量に関するデータ（例えば、圧縮機１１の回転数、利用熱交換器１６の温度、利用熱交換器１６の吸気側において測定される吸込温度（すなわち室温））、
－ 空調機１０の利用ユニット１０ｂが空調する空間（部屋Ｒ）を囲う躯体のデータ（例えば、躯体の経年数、躯体の断熱性、躯体の窓の仕様、躯体が構成する部屋のサイズ、躯体の換気量、躯体の向き、躯体が構成する部屋Ｒに隣接する部屋の空調機の運転情報）、
－ 予冷運転又は予暖運転前の外気温データ、
－ 予冷運転又は予暖運転前の日射データ、
－ 予冷運転又は予暖運転前の気象データ、及び
－ 予冷運転又は予暖運転時の季節又は月、
の少なくとも１つを、取得してもよい。

学習部４５２は、状態変数によって構成される訓練データセットと、予冷運転又は予暖運転の開始後のある時点の室温データおよび設定温度データＴｓに基づいて、予冷運転又は予暖運転の運転条件を学習する。ここでいう運転条件は、予冷運転又は予暖運転の運転開始時刻を含んでもよい。あるいは、運転条件は、利用熱交換器１６の温度、利用ファン１７の回転数、圧縮機１１の回転数、のうちの少なくとも１つを含んでもよい。

学習部４５２は、報酬設定部４５３、行動価値関数更新部４５４、行動価値関数保持部４５５を有する。報酬設定部４５３は、予冷運転又は予暖運転を行ったときに次の値に基づいて報酬を計算する。
－ （Ａ）部屋Ｒにユーザが戻ってくる時刻における室温と設定温度の差分。
－ （Ｂ）予冷運転又は予暖運転の開始後のある時点（例えば、予冷運転又は予暖運転の終了時）までに要した電力量。

具体的には、報酬設定部４５３は、「（Ａ）差分」が小さいときは大きな報酬を与え、「（Ａ）差分」が大きいときは小さな報酬を与える。加えて、報酬設定部４５３は、「（Ｂ）電力量」が小さいときは大きな報酬を与え、「（Ｂ）電力量」が大きいときは小さな報酬を与える。

行動価値関数保持部４５５は、予冷運転又は予暖運転の制御の仕方を計算するための関数（行動価値関数）を保持する。ここで言う関数には、テーブルの形で表現された数値（行動価値テーブル）も含まれる。関数は、運転条件に対して受け取ることが期待される前記報酬の期待値を示してもよい。

行動価値関数更新部４５４は、取得部４５１によって取得された状態変数、及び報酬設定部４５３によって計算された報酬に基づいて、行動価値関数保持部４５５に保持される行動価値関数を更新する。

このように、学習部４５２は、状態変数と、報酬と、に基づいて予冷運転又は予暖運転の前記運転条件を学習する。学習部４５２は、行動価値関数をリアルタイムで更新してもよい。さらに、そのために、学習部４５２は、取得部４５１から取得される状態変数を多層ニューラルネットワークによって演算してもよい。この時、好ましくは、学習部４５２は強化学習を行う。

（３－２）運転内容
運転内容決定部４５は、空調機１０の運転内容を決定する。ここで、空調機１０の運転内容は、空調機１０の運転開始時刻を含んでもよい。あるいは、運転条件は、利用熱交換器１６の温度、利用ファン１７の回転数、圧縮機１１の回転数、のうちの少なくとも１つを含んでもよい。

（４）処理
図５は、機械学習装置１００の処理を示すフローチャートである。強化学習の「行動」の初期値はランダムに選択されることがある。ステップＳ１において、空調機１０の制御パラメータがランダムに選択される。

ステップＳ２において、取得部４５１が状態変数を取得する。ここで、状態変数は、空調機１０の温度センサ１９ａ～１９ｆの少なくとも一部の出力、在室情報取得部４４の出力、その他の信号を含む。例えば、状態変数は、ステップＳ２の時点の室温、外気温、空調機１０の消費電力、ユーザが部屋Ｒに帰ってくるまでの時間、などを含む。

ステップＳ３において、報酬設定部４５３は、ある予冷運転又は予暖運転を行ったときに、部屋Ｒにユーザが戻ってくる時刻における室温と設定温度の差分の大きさが規定値未満であるか否かを判別する。差分の大きさが規定値未満であると判定された場合は、ステップＳ４において、報酬設定部４５３は報酬を増やす。一方、差分の大きさが規定値以上であると判定された場合は、ステップＳ５において、報酬設定部４５３は報酬を減らす。

ステップＳ６において、報酬設定部４５３は、ある予冷運転又は予暖運転を行ったときに、予冷運転又は予暖運転に要した電力量の大きさが規定値未満であると判定された場合は、ステップＳ７において、報酬設定部４５３は報酬を増やす。一方、電力量の大きさが規定値以上であると判定された場合は、ステップＳ８において、報酬設定部４５３は報酬を減らす。

ステップＳ９において、行動価値関数更新部４５４は、状態変数及び報酬に基づいて、制御パラメータを計算するための関数（行動価値関数）を更新する。

ステップＳ１０において、決定条件が満足されるか否かを判別する。決定条件は、ユーザによるコマンドの入力であってもよい。代替的に、決定条件は、所定の関係式が満足されるという事象であってもよい。決定条件が満足される場合、処理はステップＳ１１に進む。決定条件が満足されない場合は、処理はステップＳ２に戻る。

ステップＳ１１において、行動価値関数更新部４５４は、関数に基づき、報酬が最も多く得られることになる予冷運転又は予暖運転の制御パラメータを決定する。

（５）特徴
予冷運転又は予暖運転の運転条件が、機械学習によって導出される。したがって、ユーザの快適性又は省エネ効果が向上する。

（６）変形例
－ （Ａ）部屋Ｒにユーザが戻ってくる時刻における室温と設定温度の差分。
の代わりに、
－ （Ｃ）部屋Ｒにユーザが戻ってくる時刻と、室温が実際に設定温度に達した時刻と、の差分時間。
を処理に用いても良い。

（７）むすび
以上、本開示の実施形態を説明したが、特許請求の範囲に記載された本開示の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

１０ ：空調機
１１ ：圧縮機
１３ ：熱源熱交換器
１４ ：熱源ファン
１５ ：膨張弁
１６ ：利用熱交換器
１７ ：利用ファン
１９ａ ：外気温センサ
１９ｂ ：室温センサ
４０ ：制御部
１００ ：機械学習装置
４５１ ：取得部
４５２ ：学習部
４５３ ：報酬設定部
４５４ ：行動価値関数更新部
４５５ ：行動価値関数保持部
Ｒ ：部屋
Ｔｓ ：設定温度データ

特許６２７０９９６号公報

Claims (6)

1. 空調機（１０）の予冷運転又は予暖運転の運転条件を強化学習によって決定する機械学習装置（１００）であって、
   前記予冷運転又は前記予暖運転時の室温データ、設定温度データ、および外気温データを状態変数として取得する取得部（４５１）と、
   前記状態変数と、前記予冷運転又は前記予暖運転の開始後から終了時までの室温および設定温度に基づいて、前記予冷運転又は前記予暖運転の前記運転条件を強化学習によって学習する学習部（４５２）と、
   を備え、
   前記予冷運転又は前記予暖運転の前記運転条件は、運転開始時刻、を含み、
   前記学習部は、
   前記予冷運転又は前記予暖運転の開始後の室温および設定温度、に基づいて報酬を決定する報酬設定部（４５３）、
   をさらに備え、
   前記学習部は、前記状態変数と、前記報酬と、に基づいて前記予冷運転又は前記予暖運転の前記運転条件を学習し、
   前記報酬設定部は、さらに、前記予冷運転又は前記予暖運転の開始後のある時点までに要した電力量、に基づいて前記報酬を決定し、
   前記予冷運転又は前記予暖運転の開始後の前記ある時点は、前記予冷運転又は前記予暖運転の終了時であり、
   前記報酬設定部は、
   前記予冷運転又は前記予暖運転の終了時における前記室温および前記設定温度の差が小さいときに前記報酬を増大させ、又は、
   前記電力量が小さいときに前記報酬を増大させる、
   機械学習装置（１００）。
2. 前記空調機は、
   利用熱交換器（１６）と、
   利用ファン（１７）と、
   圧縮機（１１）と、
   を有し、
   前記予冷運転又は前記予暖運転の前記運転条件は、
   前記利用熱交換器の温度、
   前記利用ファンの回転数、
   前記圧縮機の回転数、
   のうちの少なくとも１つを含む、
   請求項１に記載の機械学習装置。
3. 前記取得部は、前記状態変数として、
   前記空調機の熱処理量に関するデータ、
   前記空調機の利用ユニットが空調する空間を囲う躯体のデータ、
   前記予冷運転又は前記予暖運転前の外気温データ、
   前記予冷運転又は前記予暖運転前の日射データ、
   前記予冷運転又は前記予暖運転前の気象データ、及び
   前記予冷運転又は前記予暖運転時の季節又は月、
   の少なくとも１つを、さらに取得する、
   請求項２に記載の機械学習装置。
4. 前記空調機の前記熱処理量に関する前記データは、
   前記圧縮機の前記回転数、
   前記利用熱交換器の前記温度、
   前記利用熱交換器の吸気側において測定される吸込温度、
   の少なくとも１つを含む、
   請求項３に記載の機械学習装置。
5. 前記躯体のデータは、
   前記躯体の経年数、
   前記躯体の断熱性、
   前記躯体の窓の仕様、
   前記躯体が構成する部屋のサイズ、
   前記躯体の換気量、
   前記躯体の向き、
   前記躯体が構成する前記部屋に隣接する部屋の空調機の運転情報、
   のうちの少なくとも１つを含む、
   請求項３又は請求項４に記載の機械学習装置。
6. 前記学習部は、
   行動価値関数を保持する行動価値関数保持部（４５４）と、
   前記行動価値関数を更新する行動価値関数更新部（４５５）と、
   をさらに有し、
   前記行動価値関数は、前記運転条件に対して受け取ることが期待される前記報酬の期待値を示し、
   前記行動価値関数更新部は、実際に得られた前記報酬に基づいて前記行動価値関数を更新する、
   請求項１から５のいずれか１つに記載の機械学習装置。
   

Images