JP7078873B2 - 機械学習装置、デマンド制御システム、及び、空調制御システム - Google Patents

Description

機械学習装置、機械学習装置を備えるデマンド制御システム、及び、機械学習装置を備える空調制御システムに関する。

特許文献１（特開２０１１－３６０８４号公報）には、過去の空調運転実績データから空調部分負荷特性及び室内熱容量特性を作成し、所定の空調電力量の目標値を実現する設定温度を決定する構成が開示されている。

所定の空調電力量の目標値を実現する設定温度の精度が十分ではない課題がある。

第１観点の機械学習装置は、対象空間に設置されている空気調和装置の所定時限における消費電力量の上限値であるデマンド目標値を達成するための、対象空間の設定温度を学習する。機械学習装置は、学習部と、第１取得部と、第２取得部と、更新部とを備える。第１取得部は、空気調和装置の消費電力量、及び、対象空間の状態に相関する室内状態値の少なくとも１つを含む第１変数を取得する。第２取得部は、空気調和装置の制御結果を評価する評価データを取得する。更新部は、評価データを用いて学習部の学習状態を更新する。学習部は、更新部の出力に従って学習する。評価データは、空気調和装置の消費電力量を含む。

第１観点の機械学習装置は、所定のデマンド目標値を実現するための設定温度を決定することができる。

第２観点の機械学習装置は、第１観点の機械学習装置であって、更新部は、評価データに基づいて報酬を算出する。学習部は、報酬を用いて学習する。

第３観点の機械学習装置は、第２観点の機械学習装置であって、更新部は、デマンド目標値と、評価データに含まれる空気調和装置の消費電力量との差が小さいほど、高い報酬を算出する。

第４観点の機械学習装置は、第１観点の機械学習装置であって、第１変数を入力変数とし、対象空間の設定温度を出力変数とする識別関数のパラメータを調整する変更部をさらに備える。学習部は、変更部の出力に従って、識別関数のパラメータの変更を複数回行い、パラメータが変更された識別関数毎に第１変数から設定温度を出力する。更新部は、蓄積部と、判定部とを備える。判定部は、評価データを用いて判定結果を出力する。蓄積部は、判定結果に従って、第１変数と、学習部が第１変数から出力した設定温度とから教師データを蓄積する。学習部は、蓄積部に蓄積された教師データに基づいて学習する。

第５観点の機械学習装置は、第１乃至第４観点のいずれか１つの機械学習装置であって、室内状態値は、対象空間の温度、湿度、温度変化量、及び、湿度変化量の少なくとも１つである。

第６観点の機械学習装置は、第１乃至第５観点のいずれか１つの機械学習装置であって、第１変数は、室内条件及び室外条件の少なくとも１つをさらに含む。室内条件は、対象空間に設置されている機器の消費電力量、及び、対象空間の在室人数の少なくとも１つを含む。室外条件は、空気調和装置の室外機が設置されている空間の温度、湿度、及び、日射量の少なくとも１つを含む。

第７観点のデマンド制御システムは、第１乃至第６観点のいずれか１つの機械学習装置と、空気調和装置とを備える。

第８観点の機械学習装置は、対象空間に設置される空気調和装置の部分負荷特性を学習する。機械学習装置は、第１取得部と、第２取得部と、学習部とを備える。第１取得部は、空気調和装置の運転実績に関する第１パラメータを含む第１変数を取得する。第２取得部は、空気調和装置の部分負荷特性を含む第２変数を取得する。学習部は、第１変数と第２変数とを関連付けて学習する。

第８観点の機械学習装置は、空気調和装置の部分負荷特性の予測値を高い精度で取得することができる。

第９観点の機械学習装置は、第８観点の機械学習装置であって、推論部をさらに備える。推論部は、学習部の学習の結果に基づき、第１変数から、空気調和装置の部分負荷特性の予測値を推論する。

第１０観点の機械学習装置は、第８観点又は第９観点の機械学習装置であって、学習部は、第１変数と第２変数とを教師データとして用いて学習する。

第１１観点の機械学習装置は、第９観点の機械学習装置であって、更新部をさらに備える。更新部は、第２変数、及び、部分負荷特性の予測値に基づいて報酬を算出する。学習部は、報酬を用いて学習する。

第１２観点の機械学習装置は、第１１観点の機械学習装置であって、更新部は、第２変数に含まれる空気調和装置の部分負荷特性と、部分負荷特性の予測値との差が小さいほど、高い報酬を算出する。

第１３観点の機械学習装置は、第８乃至第１２観点のいずれか１つの機械学習装置であって、第１パラメータは、空気調和装置の能力に相関するパラメータ、及び、空気調和装置の消費電力量に相関するパラメータの少なくとも１つを含む。

第１４観点の機械学習装置は、空気調和装置が設置されている対象空間の熱容量特性を学習する。機械学習装置は、第１取得部と、第２取得部と、学習部とを備える。第１取得部は、空気調和装置の能力に相関する第１パラメータ、及び、対象空間の状態に相関する第２パラメータの少なくとも１つを含む第１変数を取得する。第２取得部は、対象空間の熱容量特性を含む第２変数を取得する。学習部は、第１変数と第２変数とを関連付けて学習する。

第１４観点の機械学習装置は、空気調和装置が設置されている対象空間の熱容量特性の予測値を高い精度で取得することができる。

第１５観点の機械学習装置は、第１４観点の機械学習装置であって、推論部をさらに備える。推論部は、学習部の学習の結果に基づき、第１変数から、対象空間の熱容量特性の予測値を推論する。

第１６観点の機械学習装置は、第１４観点又は第１５観点の機械学習装置であって、学習部は、第１変数と第２変数とを教師データとして用いて学習する。

第１７観点の機械学習装置は、第１５観点の機械学習装置であって、更新部をさらに備える。更新部は、第２変数、及び、熱容量特性の予測値に基づいて報酬を算出する。学習部は、報酬を用いて学習する。

第１８観点の機械学習装置は、第１７観点の機械学習装置であって、更新部は、第２変数に含まれる対象空間の熱容量特性と、熱容量特性の予測値との差が小さいほど、高い報酬を算出する。

第１９観点の機械学習装置は、第１４乃至第１８観点のいずれか１つの機械学習装置であって、第２パラメータは、対象空間の温度、湿度、温度変化量、及び、湿度変化量の少なくとも１つである。

第２０観点の機械学習装置は、第１４乃至第１９観点のいずれか１つの機械学習装置であって、第１変数は、室内条件及び室外条件の少なくとも１つをさらに含む。室内条件は、対象空間に設置されている機器の消費電力量、及び、対象空間の在室人数の少なくとも１つである。室外条件は、空気調和装置の室外機が設置されている空間の温度、湿度、及び、日射量の少なくとも１つである。

第２１観点の空調制御システムは、対象空間に設置されている空気調和装置の所定時限における消費電力量の上限値であるデマンド目標値を達成するための、空気調和装置を制御するための制御パラメータを決定する。空調制御システムは、機械学習装置と、出力部と、決定部とを備える。機械学習装置は、空気調和装置が設置されている対象空間の熱容量特性と、対象空間に設置される空気調和装置の部分負荷特性とを学習する。出力部は、空気調和装置を制御するための制御パラメータの候補を出力する。決定部は、空気調和装置を制御するための制御パラメータを決定する。機械学習装置は、第１の取得部と、第２の取得部と、第１の学習部と、第１の推論部と、第３の取得部と、第４の取得部と、第２の学習部と、第２の推論部とを備える。第１の取得部は、空気調和装置の能力に相関する第１パラメータ、及び、対象空間の状態に相関する第２パラメータの少なくとも１つを含む第１変数を取得する。第２の取得部は、対象空間の熱容量特性を含む第２変数を取得する。第１の学習部は、第１変数と第２変数とを関連付けて学習する。第１の推論部は、第１の学習部の学習の結果に基づき、第１変数から、対象空間の熱容量特性の予測値である第１の予測値を推論する。第３の取得部は、第１の予測値を含む第３変数を取得する。第４の取得部は、空気調和装置の部分負荷特性を含む第４変数を取得する。第２の学習部は、第３変数と第４変数とを関連付けて学習する。第２の推論部は、出力部が出力した制御パラメータの候補、及び、第２の学習部の学習の結果に基づき、第３変数から、空気調和装置の部分負荷特性の予測値である第２の予測値を推論する。決定部は、第２の予測値がデマンド目標値に関する所定の条件を満たすように、制御パラメータを決定する。

第２１観点の空調制御システムは、所定のデマンド目標値を実現するための制御パラメータを決定することができる。

第２２観点の空調制御システムは、第２１観点の空調制御システムであって、第２パラメータは、対象空間の温度、湿度、温度変化量、及び、湿度変化量の少なくとも１つである。制御パラメータは、デマンド目標値を達成するための対象空間の設定温度を含む。

第２３観点の空調制御システムは、第２１観点又は第２２観点の空調制御システムであって、決定部は、空気調和装置の部分負荷特性の目標値と、第２の推論部が推論した第２の予測値との差が小さくなるように、制御パラメータを決定する。第２の学習部は、決定部が決定した制御パラメータを用いて学習する。

第１実施形態に係る学習中の機械学習装置１００のブロック図である。 第１実施形態に係る学習後の機械学習装置１００のブロック図である。 第２実施形態に係る学習中の機械学習装置２００のブロック図である。 第２実施形態に係る学習後の機械学習装置２００のブロック図である。 第３実施形態に係る学習中の機械学習装置３００のブロック図である。 第３実施形態に係る学習後の機械学習装置３００のブロック図である。 第４実施形態に係る学習中の機械学習装置４００のブロック図である。 第４実施形態に係る学習後の機械学習装置４００のブロック図である。 変形例Ａに係る学習中の機械学習装置１００のブロック図である。 変形例Ａに係る学習後の機械学習装置１００のブロック図である。 ニューラルネットワークのニューロンのモデルの模式図である。 図１１に示されるニューロンを組み合わせて構成した三層のニューラルネットワークの模式図である。 サポートベクターマシンを説明するための図である。２クラスの学習データが線形分離可能である特徴空間を表す。 ２クラスの学習データが線形分離不可能である特徴空間を表す。 分割統治法によって構成された決定木の一例である。 図１５の決定木によって分割される特徴空間を表す。

―第１実施形態―
第１実施形態に係るデマンド制御システム１０について、図面を参照しながら説明する。デマンド制御システム１０は、デマンド目標値を達成するための空気調和装置１１０の制御を行う。デマンド目標値とは、対象空間に設置されている空気調和装置１１０の所定時限における消費電力量の上限値である。言い換えると、デマンド制御システム１０は、空気調和装置１１０の実際の消費電力量がデマンド目標値を超えないように、空気調和装置１１０を制御する。

デマンド制御システム１０は、機械学習装置１００と、空気調和装置１１０とを備える。機械学習装置１００は、機械学習の手法を用いて、所定のデマンド目標値を達成するための対象空間の設定温度を学習する。デマンド制御システム１０は、機械学習装置１００による学習の結果に基づいて対象空間の設定温度を取得し、当該設定温度に基づいて空気調和装置１１０を制御する。機械学習装置１００は、１つ又は複数のコンピュータから構成される。機械学習装置１００が複数のコンピュータから構成される場合、当該複数のコンピュータは、ネットワークを介して互いに接続されてもよい。

図１は、第１実施形態の学習中の機械学習装置１００のブロック図である。図２は、第１実施形態の学習後の機械学習装置１００のブロック図である。機械学習装置１００は、主として、状態変数取得部１０１と、学習部１０３と、関数更新部１０４と、評価データ取得部１０５と、制御量決定部１０６とを備える。状態変数取得部１０１～制御量決定部１０６は、機械学習装置１００の記憶装置に記憶されているプログラムを、機械学習装置１００のＣＰＵが実行することにより実現される。

状態変数取得部１０１は、状態変数（第１変数）を取得する。状態変数は、空気調和装置１１０の消費電力量、及び、対象空間の状態に相関する室内状態値の少なくとも１つを含む。室内状態値は、対象空間の温度、湿度、温度変化量、及び、湿度変化量の少なくとも１つである。

評価データ取得部１０５は、空気調和装置１１０の制御結果を評価する評価データを取得する。評価データは、空気調和装置１１０の消費電力量を少なくとも含む。

関数更新部１０４は、評価データ取得部１０５が取得した評価データを用いて学習部１０３の学習状態を更新する。

学習部１０３は、図１に示されるように、状態変数取得部１０１が取得した状態変数と、制御量（対象空間の設定温度）とを関連付けて学習する。学習部１０３は、学習の結果である学習済みモデルを出力する。

学習部１０３は、関数更新部１０４の出力に従って学習する。第１実施形態では、学習部１０３は、報酬を用いて学習する強化学習を行う。関数更新部１０４は、評価データ取得部１０５が取得した評価データに基づいて報酬を算出する。具体的には、関数更新部１０４は、所定のデマンド目標値と、評価データに含まれる空気調和装置１１０の実際の消費電力量との差が小さいほど、高い報酬を算出する。

制御量決定部１０６は、図２に示されるように、学習部１０３による学習の結果得られた学習済みモデルに基づき、状態変数取得部１０１が取得した状態変数から、制御量（対象空間の設定温度）を決定する。制御量決定部１０６が決定した制御量は、学習部１０３による学習に用いられる。

空気調和装置１１０は、制御量決定部１０６が決定した設定温度に基づいて、空気調和装置１１０による空調制御を行う。空気調和装置１１０は、空気調和装置１１０の制御対象パラメータを調整して、制御量決定部１０６が決定した設定温度を達成する制御を行う。制御対象パラメータは、例えば、空気調和装置１１０の圧縮機の回転数、及び、空気調和装置１１０の膨張機構である電動弁の開度である。

評価データ取得部１０５は、所定の判定データを所定の評価関数に入力して、評価関数の出力値を評価データとして取得する。言い換えると、評価関数は、判定データから評価データへの写像である。判定データは、空気調和装置１１０の消費電力量に相関するパラメータである。空気調和装置１１０の消費電力量に相関するパラメータは、例えば、空気調和装置１１０の電力値、電流値、及び、圧縮機の回転数の少なくとも１つである。

機械学習装置１００は、所定のデマンド目標値が設定された場合に、当該デマンド目標値を実現するための対象空間の設定温度を自動的に決定する。そのため、デマンド制御システム１０は、機械学習装置１００を備えることで、デマンド目標値から直接的に設定温度を算出することができる。従って、デマンド制御システム１０は、所定のデマンド目標値を達成する空調制御を行うことで、省エネ性能を向上させることができる。

―第２実施形態―
第２実施形態に係る空調制御システム２０について、図面を参照しながら説明する。空調制御システム２０は、対象空間に設置される空気調和装置２１０を制御する。

空調制御システム２０は、機械学習装置２００を備える。機械学習装置２００は、対象空間に設置される空気調和装置２１０の部分負荷特性を学習する。機械学習装置２００は、１つ又は複数のコンピュータから構成される。機械学習装置２００が複数のコンピュータから構成される場合、当該複数のコンピュータは、ネットワークを介して互いに接続されてもよい。

図３は、第２実施形態の学習中の機械学習装置２００のブロック図である。図４は、第２実施形態の学習後の機械学習装置２００のブロック図である。機械学習装置２００は、主として、状態変数取得部２０１と、制御量取得部２０２と、学習部２０３と、関数更新部２０４と、推論部２０５とを備える。状態変数取得部２０１～推論部２０５は、機械学習装置２００の記憶装置に記憶されているプログラムを、機械学習装置２００のＣＰＵが実行することにより実現される。

状態変数取得部２０１は、空気調和装置２１０の運転実績に関する第１パラメータを少なくとも含む状態変数（第１変数）を取得する。第１パラメータは、空気調和装置２１０の能力に相関するパラメータ、及び、空気調和装置２１０の消費電力量に相関するパラメータの少なくとも１つを含む。空気調和装置２１０の能力に相関するパラメータとは、圧縮機の回転数、冷媒の蒸発温度、冷媒の凝縮温度、室内機の運転台数、室内機ファンの風量、及び、室内機の電動弁の開度の少なくとも１つである。空気調和装置２１０の消費電力量に相関するパラメータとは、空気調和装置２１０の電力値、電流値、及び、圧縮機の回転数の少なくとも１つである。第１パラメータは、さらに、運転時における室内及び室外の温度及び湿度を含む空気条件を含んでもよい。

制御量取得部２０２は、空気調和装置２１０の部分負荷特性を少なくとも含む制御量（第２変数）を取得する。空気調和装置２１０の部分負荷特性とは、空気調和装置２１０の能力に相関するパラメータと、空気調和装置２１０の消費電力量との組み合わせを含む。部分負荷特性は、例えば、空気調和装置２１０の能力に相関するパラメータに対する、空気調和装置２１０の消費電力量の変化に関するデータである。

学習部２０３は、図３に示されるように、状態変数取得部２０１が取得した状態変数と、制御量取得部２０２が取得した制御量とを関連付けて学習する。第２実施形態では、学習部２０３は、報酬を用いて学習する強化学習を行う。学習部２０３は、学習の結果である学習済みモデルを出力する。

関数更新部２０４は、制御量取得部２０２が取得した制御量と、制御量の予測値とに基づいて報酬を算出する。具体的には、関数更新部２０４は、制御量に含まれる空気調和装置２１０の部分負荷特性が、空気調和装置２１０の部分負荷特性の予測値に近いほど、高い報酬を算出する。言い換えると、空気調和装置２１０の部分負荷特性の実際値と、空気調和装置２１０の部分負荷特性の予測値との差が小さいほど、関数更新部２０４によって算出される報酬が高くなる。

推論部２０５は、図４に示されるように、学習部２０３による学習の結果得られた学習済みモデルに基づき、状態変数取得部２０１が取得した状態変数から、空気調和装置２１０の部分負荷特性の予測値を推論する。推論部２０５は、空気調和装置２１０の部分負荷特性の予測値を出力する。空調制御システム２０は、推論部２０５が出力した予測値に基づいて、空気調和装置２１０を制御する。

機械学習装置２００は、空気調和装置２１０の運転実績に関するパラメータを用いて空気調和装置２１０の部分負荷特性の予測値を取得する。空調制御システム２０は、機械学習装置２００を備えることで、空気調和装置２１０の部分負荷特性の予測値を高い精度で取得することができる。そのため、空調制御システム２０は、空気調和装置２１０の部分負荷特性の予測値に基づいて、運転時の空気調和装置２１０の消費電力量を予測することができる。これにより、空調制御システム２０は、例えば、所定のデマンド目標値が設定された場合に、当該デマンド目標値を実現するための制御パラメータを自動的に決定することができる。従って、空調制御システム２０は、運転時の空気調和装置２１０の消費電力量の予測精度を向上させて、所定のデマンド目標値を達成する空調制御を行うことで、省エネ性能を向上させることができる。

―第３実施形態―
第３実施形態に係る空調制御システム３０について、図面を参照しながら説明する。空調制御システム３０は、対象空間に設置される空気調和装置３１０を制御する。

空調制御システム３０は、機械学習装置３００を備える。機械学習装置３００は、空気調和装置３１０が設置されている対象空間の熱容量特性を学習する。機械学習装置３００は、１つ又は複数のコンピュータから構成される。機械学習装置３００が複数のコンピュータから構成される場合、当該複数のコンピュータは、ネットワークを介して互いに接続されてもよい。

図５は、第３実施形態の学習中の機械学習装置３００のブロック図である。図６は、第３実施形態の学習後の機械学習装置３００のブロック図である。機械学習装置３００は、主として、状態変数取得部３０１と、制御量取得部３０２と、学習部３０３と、関数更新部３０４と、推論部３０５とを備える。状態変数取得部３０１～推論部３０５は、機械学習装置３００の記憶装置に記憶されているプログラムを、機械学習装置３００のＣＰＵが実行することにより実現される。

状態変数取得部３０１は、第１パラメータ及び第２パラメータの少なくとも１つを含む状態変数（第１変数）を取得する。第１パラメータは、空気調和装置３１０の能力に相関するパラメータである。第２パラメータは、空気調和装置３１０が設置されている対象空間の状態に相関するパラメータである。空気調和装置３１０の能力に相関するパラメータとは、圧縮機の回転数、冷媒の蒸発温度、冷媒の凝縮温度、室内機の運転台数、室内機ファンの風量、及び、室内機の電動弁の開度の少なくとも１つである。対象空間の状態に相関するパラメータとは、対象空間の温度、湿度、温度変化量、及び、湿度変化量の少なくとも１つである。

制御量取得部３０２は、対象空間の熱容量特性を少なくとも含む制御量（第２変数）を取得する。対象空間の熱容量特性とは、第１パラメータと第２パラメータとの組み合わせを含む。熱容量特性は、例えば、第１パラメータに対する、第２パラメータの変化に関するデータである。

学習部３０３は、図５に示されるように、状態変数取得部３０１が取得した状態変数と、制御量取得部３０２が取得した制御量とを関連付けて学習する。第３実施形態では、学習部３０３は、報酬を用いて学習する強化学習を行う。学習部３０３は、学習の結果である学習済みモデルを出力する。

関数更新部３０４は、制御量取得部３０２が取得した制御量と、制御量の予測値とに基づいて報酬を算出する。具体的には、関数更新部３０４は、設定温度ごとにおける、制御量に含まれる対象空間の熱容量特性が、対象空間の熱容量特性の予測値に近いほど、高い報酬を算出する。言い換えると、設定温度ごとにおける、対象空間の熱容量特性の実際値と、対象空間の熱容量特性の予測値との差が小さいほど、関数更新部３０４によって算出される報酬が高くなる。

推論部３０５は、図６に示されるように、学習部３０３による学習の結果得られた学習済みモデルに基づき、状態変数取得部３０１が取得した状態変数から、対象空間の熱容量特性の予測値を推論する。推論部３０５は、対象空間の熱容量特性の予測値を出力する。空調制御システム３０は、推論部３０５が出力した予測値に基づいて、空気調和装置３１０を制御する。

機械学習装置３００は、第１パラメータ及び第２パラメータの少なくとも１つを用いて空気調和装置３１０が設置されている対象空間の熱容量特性の予測値を取得する。空調制御システム３０は、機械学習装置３００を備えることで、対象空間の熱容量特性の予測値を高い精度で取得することができる。そのため、空調制御システム３０は、対象空間の熱容量特性の予測値に基づいて、例えば、空気調和装置３１０の部分負荷特性を予測して、運転時の空気調和装置３１０の消費電力量を予測することができる。これにより、空調制御システム３０は、例えば、所定のデマンド目標値が設定された場合に、当該デマンド目標値を実現するための制御パラメータを自動的に決定することができる。従って、空調制御システム３０は、運転時の空気調和装置３１０の消費電力量の予測精度を向上させて、所定のデマンド目標値を達成する空調制御を行うことで、省エネ性能を向上させることができる。

―第４実施形態―
第４実施形態に係る空調制御システム４０について、図面を参照しながら説明する。空調制御システム４０は、対象空間に設置される空気調和装置４１０を制御する。

空調制御システム４０は、機械学習装置４００と、操作量候補出力部４０６と、操作量決定部４０７とを備える。図７は、第４実施形態の学習中の機械学習装置４００のブロック図である。図８は、第４実施形態の学習後の機械学習装置４００のブロック図である。

機械学習装置４００は、空気調和装置４１０が設置されている対象空間の熱容量特性と、対象空間に設置される空気調和装置４１０の部分負荷特性とを学習する。機械学習装置４００は、第１の状態変数取得部４１１と、第１の制御量取得部４１２と、第１の学習部４１３と、第１の関数更新部４１４と、第１の推論部４１５と、第２の状態変数取得部４２１と、第２の制御量取得部４２２と、第２の学習部４２３と、第２の関数更新部４２４と、第２の推論部４２５とを備える。

第１の状態変数取得部４１１は、空気調和装置４１０の能力に相関する第１パラメータ、及び、対象空間の状態に相関する第２パラメータの少なくとも１つを含む状態変数（第１変数）を取得する。

第１の制御量取得部４１２は、対象空間の熱容量特性を含む状態変数（第２変数）を取得する。

第１の学習部４１３および第１の関数更新部４１４は、それぞれ、第３実施形態の学習部３０３および関数更新部３０４と同じ機能を有する。

第１の推論部４１５は、第１の学習部４１３の学習の結果に基づき、状態変数（第１変数）から、対象空間の熱容量特性の予測値（第１の予測値）を推論する。

第２の状態変数取得部４２１は、図８に示されるように第１の推論部４１５が出力した対象空間の熱容量特性の予測値（第１の予測値）を少なくとも含む状態変数（第３変数）を取得する。第２の状態変数取得部４２１は、状態変数として、空気調和装置４１０の運転実績に関するパラメータ（運転実績パラメータ）をさらに取得してもよい。運転実績パラメータは、空気調和装置４１０の能力に相関するパラメータ、及び、空気調和装置４１０の消費電力量に相関するパラメータの少なくとも１つを含む。空気調和装置４１０の能力に相関するパラメータとは、圧縮機の回転数、冷媒の蒸発温度、冷媒の凝縮温度、室内機の運転台数、室内機ファンの風量、及び、室内機の電動弁の開度の少なくとも１つである。空気調和装置４１０の消費電力量に相関するパラメータとは、空気調和装置４１０の電力値、電流値、及び、圧縮機の回転数の少なくとも１つである。運転実績パラメータは、さらに、運転時における室内及び室外の温度及び湿度を含む空気条件を含んでもよい。

第２の制御量取得部４２２は、空気調和装置４１０の部分負荷特性を含む制御量（第４変数）を取得する。

第２の学習部４２３および第２の関数更新部４２４は、それぞれ、第２実施形態の学習部２０３および関数更新部２０４と同じ機能を有する。

第２の推論部４２５は、操作量候補出力部４０６が出力した制御パラメータの候補、及び、第２の学習部４２３の学習の結果に基づき、状態変数（第３変数）から、空気調和装置４１０の部分負荷特性の予測値（第２の予測値）を推論する。制御パラメータとは、空気調和装置４１０を制御するためのパラメータである。制御パラメータは、対象空間に設置されている空気調和装置４１０の所定時限における消費電力量の上限値であるデマンド目標値を達成するための対象空間の設定温度を含む。

操作量候補出力部４０６は、空気調和装置４１０を制御するための制御パラメータの候補を出力する。操作量候補出力部４０６は、例えば、第１の状態変数取得部４１１および第２の状態変数取得部４２１が取得した状態変数に基づいて、制御パラメータの候補を出力する。

操作量決定部４０７は、対象空間に設置される空気調和装置４１０の部分負荷特性の予測値が所定の条件を満たすように、空気調和装置４１０を制御するための制御パラメータを決定する。具体的には、操作量決定部４０７は、空気調和装置４１０の部分負荷特性の目標値と、第２の推論部４２５が推論した部分負荷特性の予測値（第２の予測値）との差が小さくなるように、制御パラメータを決定する。第１の学習部４１３および第２の学習部４２３は、図７に示されるように、操作量決定部４０７が決定した制御パラメータを用いて学習を行い、学習済みモデルを出力してもよい。

機械学習装置４００は、空気調和装置４１０の部分負荷特性の予測値を取得するための学習済みモデルの構築、及び、当該予測値の推論に適した制御パラメータを決定することができる。空調制御システム４０は、機械学習装置４００を備えることで、空気調和装置４１０の部分負荷特性の予測値を高い精度で取得することができる。そのため、空調制御システム４０は、空気調和装置４１０の部分負荷特性の予測値に基づいて、運転時の空気調和装置４１０の消費電力量を予測することができる。これにより、空調制御システム４０は、所定のデマンド目標値が設定された場合に、当該デマンド目標値を実現するための制御パラメータを自動的に決定することができる。従って、空調制御システム４０は、運転時の空気調和装置４１０の消費電力量の予測精度を向上させて、所定のデマンド目標値を達成する空調制御を行うことで、省エネ性能を向上させることができる。

―変形例―
以下、実施形態の少なくとも一部の変形例について説明する。

（１）変形例Ａ
第１実施形態では、学習部１０３は、報酬を用いて学習する強化学習を行う。しかし、学習部１０３は、強化学習の代わりに、教師データに基づいて学習する教師あり学習を行ってもよい。

変形例Ａに係るデマンド制御システム１０について、図面を参照しながら説明する。第１実施形態及び変形例Ａに係るデマンド制御システム１０は、基本的な構成は共通している。以下、第１実施形態と変形例Ａとの相違点を中心に説明する。

図９は、変形例Ａの学習中の機械学習装置１００のブロック図である。図１０は、変形例Ａの学習後の機械学習装置１００のブロック図である。機械学習装置１００は、関数変更部１０７をさらに備える。

関数更新部１０４は、教師データ蓄積部１０４ａと、判定部１０４ｂとを備える。判定部１０４ｂは、評価データ取得部１０５が取得した評価データを用いて、評価データの判定結果を出力する。教師データ蓄積部１０４ａは、判定部１０４ｂによる判定結果に従って、状態変数取得部１０１が取得した状態変数と、制御量（対象空間の設定温度）とから教師データを蓄積する。

学習部１０３は、関数変更部１０７の出力に従って、識別関数のパラメータを微小変化させて、識別関数のパラメータの変更を複数回行い、パラメータが変更された識別関数毎に状態変数から制御量を出力する。識別関数とは、教師データに含まれる状態変数から制御量への写像である。具体的には、識別関数は、状態変数を入力変数とし、制御量を出力変数とする関数である。関数変更部１０７は、識別関数のパラメータを出力する。関数更新部１０４は、学習部１０３が状態変数から出力した制御量に基づくデマンド制御システム１０の制御の結果得られた評価データが適切であると判定された場合に、当該状態変数と、当該状態変数から学習部１０３が出力した制御量とを教師データとして蓄積する。

学習部１０３は、教師データ蓄積部１０４ａに蓄積された教師データに基づいて学習する。学習部１０３による学習の目的は、新規の状態変数から正しい又は適切な評価データを得ることができるように、教師データを学習データとして用いて識別関数のパラメータを調整することである。学習部１０３は、学習データとして、状態変数取得部１０１が予め取得した状態変数と、制御量との対を用いる。学習部１０３によってパラメータが十分に調整された識別関数は、学習済みモデルに相当する。

制御量決定部１０６は、学習部１０３による学習の結果得られた学習済みモデルに基づいて、新規の状態変数から制御量（対象空間の設定温度）を決定する。制御量決定部１０６が決定した制御量は、新たな教師データとして用いられる。

学習部１０３は、次に説明するように、オンライン学習又はバッチ学習による教師あり学習を行う。

オンライン学習による教師あり学習では、学習部１０３は、デマンド制御システム１０の出荷又は設置前の試験運転時等に取得したデータ（状態変数）を用いて学習済みモデルを予め生成する。制御量決定部１０６は、デマンド制御システム１０の初回運転開始時には、学習部１０３が予め生成した学習済みモデルに基づいて、制御量（対象空間の設定温度）を決定する。その後、学習部１０３は、デマンド制御システム１０の運転時に新たに取得したデータ（状態変数）を用いて学習済みモデルを更新する。制御量決定部１０６は、学習部１０３が更新した学習済みモデルに基づいて、制御量を決定する。このように、オンライン学習では、学習済みモデルが定期的に更新され、制御量決定部１０６は、最新の学習済みモデルに基づいて、制御量を決定する。

バッチ学習による教師あり学習では、学習部１０３は、デマンド制御システム１０の出荷又は設置前の試験運転時等に取得したデータ（状態変数）を用いて学習済みモデルを予め生成する。制御量決定部１０６は、デマンド制御システム１０の運転時において、学習部１０３が予め生成した学習済みモデルに基づいて、制御量を決定する。この学習済みモデルは、学習部１０３によって予め生成された後は更新されない。言い換えると、制御量決定部１０６は、同じ学習済みモデルを用いて制御量を決定する。

なお、デマンド制御システム１０とインターネット等のコンピュータネットワークを介して接続されたサーバが、学習済みモデルを生成してもよく、また、クラウドコンピューティングのサービスを利用して、学習済みモデルを生成してもよい。

（２）変形例Ｂ
第２実施形態では、学習部２０３は、報酬を用いて学習する強化学習を行う。しかし、学習部２０３は、変形例Ａで説明したように、強化学習の代わりに、教師データに基づいて学習する教師あり学習を行ってもよい。この場合、学習部２０３は、状態変数取得部２０１が取得した状態変数と、制御量取得部２０２が取得した制御量（空気調和装置２１０の部分負荷特性）とから得られた教師データを用いて学習してもよい。

（３）変形例Ｃ
第３及び第４実施形態では、学習部３０３，４１３，４２３は、報酬を用いて学習する強化学習を行う。しかし、学習部３０３，４１３，４２３は、変形例Ａで説明したように、強化学習の代わりに、教師データに基づいて学習する教師あり学習を行ってもよい。この場合、例えば、学習部３０３は、状態変数取得部３０１が取得した状態変数と、制御量取得部３０２が取得した制御量（空気調和装置３１０が設置されている対象空間の熱容量特性）とから得られた教師データを用いて学習してもよい。

（４）変形例Ｄ
変形例Ａ乃至Ｃにおいて、学習部１０３，２０３，３０３，４１３，４２３が教師データを用いる教師あり学習を行う場合、学習部１０３，２０３，３０３，４１３，４２３は、教師データの一部を学習データとして用いて識別関数のパラメータを調整し、残りをテストデータとして用いてもよい。テストデータとは、学習に使用されなかったデータであり、主に、学習済みモデルの性能評価に用いられるデータである。テストデータを用いることで、新規の状態変数から得られた評価データの性能を、テストデータに対する誤り確率という形式で予測することができる。予め取得したデータを学習データとテストデータとに分ける手法としては、ホールドアウト法、交差確認法、一つ抜き法（ジャックナイフ法）及びブートストラップ法等が用いられる。

（５）変形例Ｅ
変形例Ａ乃至Ｄにおいて、学習部１０３，２０３，３０３，４１３，４２３が用いる機械学習の手法である教師あり学習について説明する。教師あり学習は、教師データを用いて、未知の入力データに対応する出力を生成する手法である。教師あり学習では、学習データと識別関数とが用いられる。学習データとは、入力データと、それに対応する教師データとの対の集合である。入力データは、例えば、特徴空間における特徴ベクトルである。教師データは、例えば、入力データの識別、分類及び評価に関するパラメータである。識別関数は、入力データから、それに対応する出力への写像を表す。教師あり学習は、事前に与えられた学習データを用いて、識別関数の出力と教師データとの差が小さくなるように、識別関数のパラメータを調整する手法である。教師あり学習で用いられるモデル又はアルゴリズムとしては、回帰分析、時系列分析、決定木、サポートベクターマシン、ニューラルネットワーク、アンサンブル学習等が挙げられる。

回帰分析は、例えば、線形回帰分析、重回帰分析、ロジスティック回帰分析である。回帰分析は、最小二乗法等を用いて、入力データ（説明変数）と教師データ（目的変数）との間にモデルを当てはめる手法である。説明変数の次元は、線形回帰分析では１であり、重回帰分析では２以上である。ロジスティック回帰分析では、ロジスティック関数（シグモイド関数）がモデルとして用いられる。

時系列分析は、例えば、ＡＲモデル（自己回帰モデル）、ＭＡモデル（移動平均モデル）、ＡＲＭＡモデル（自己回帰移動平均モデル）、ＡＲＩＭＡモデル（自己回帰和分移動平均モデル）、ＳＡＲＩＭＡモデル（季節自己回帰和分移動平均モデル）、ＶＡＲモデル（ベクトル自己回帰モデル）である。ＡＲ、ＭＡ、ＡＲＭＡ、ＶＡＲモデルは、定常過程を表し、ＡＲＩＭＡ、ＳＡＲＩＭＡモデルは、非定常過程を表す。ＡＲモデルは、時間の経過に対して規則的に値が変化するモデルである。ＭＡモデルは、ある期間における変動が一定であるモデルである。例えば、ＭＡモデルでは、ある時点の値は、その時点より前の移動平均によって決まる。ＡＲＭＡモデルは、ＡＲモデルとＭＡモデルとを組み合わせたモデルである。ＡＲＩＭＡモデルは、中長期的なトレンド（増加又は減少傾向）を考慮して、前後の値の差分についてＡＲＭＡモデルを適用するモデルである。ＳＡＲＩＭＡモデルは、中長期的な季節変動を考慮して、ＡＲＩＭＡモデルを適用するモデルである。ＶＡＲモデルは、ＡＲモデルを多変量に拡張したモデルである。

決定木は、複数の識別器を組み合わせて複雑な識別境界を生成するためのモデルである。決定木の詳細については後述する。

サポートベクターマシンは、２クラスの線形識別関数を生成するアルゴリズムである。サポートベクターマシンの詳細については後述する。

ニューラルネットワークは、人間の脳神経系のニューロンをシナプスで結合して形成されたネットワークをモデル化したものである。ニューラルネットワークは、狭義には、誤差逆伝播法を用いた多層パーセプトロンを意味する。代表的なニューラルネットワークとしては、畳み込みニューラルネットワーク（ＣＮＮ）、リカレントニューラルネットワーク（ＲＮＮ）が挙げられる。ＣＮＮは、全結合していない（結合が疎である）順伝播型ニューラルネットワークの一種である。ＲＮＮは、有向閉路を持つニューラルネットワークの一種である。ＣＮＮ及びＲＮＮは、音声・画像・動画認識、及び、自然言語処理に用いられる。

アンサンブル学習は、複数のモデルを組み合わせて識別性能を向上させる手法である。アンサンブル学習が用いる手法は、例えば、バギング、ブースティング、ランダムフォレストである。バギングは、学習データのブートストラップサンプルを用いて複数のモデルを学習させ、新規の入力データの評価を、複数のモデルによる多数決によって決する手法である。ブースティングは、バギングの学習結果に応じて学習データに重み付けをして、誤って識別された学習データを、正しく識別された学習データよりも集中的に学習させる手法である。ランダムフォレストは、モデルとして決定木を用いる場合において、相関が低い複数の決定木からなる決定木群（ランダムフォレスト）を生成する手法である。ランダムフォレストの詳細については後述する。

学習部１０３，２０３，３０３，４１３，４２３が用いる教師あり学習の好ましいモデル又はアルゴリズムとして、次に説明する、ニューラルネットワーク、サポートベクターマシン、決定木、及び、ランダムフォレストが用いられる。

（５－１）ニューラルネットワーク
図１１は、ニューラルネットワークのニューロンのモデルの模式図である。図１２は、図１１に示されるニューロンを組み合わせて構成した三層のニューラルネットワークの模式図である。図１１に示されるように、ニューロンは、複数の入力ｘ（図１１では入力ｘ１，ｘ２，ｘ３）に対する出力ｙを出力する。各入力ｘ（図１１では入力ｘ１，ｘ２，ｘ３）には、対応する重みｗ（図１１では重みｗ１，ｗ２，ｗ３）が乗算される。ニューロンは、次の式（１）を用いて出力ｙを出力する。

式（１）において、入力ｘ、出力ｙ及び重みｗは、すべてベクトルであり、θは、バイアスであり、φは、活性化関数である。活性化関数は、非線形関数であり、例えば、ステップ関数（形式ニューロン）、単純パーセプトロン、シグモイド関数又はＲｅＬＵ（ランプ関数）である。

図１２に示される三層のニューラルネットワークでは、入力側（図１２の左側）から複数の入力ベクトルｘ（図１２では入力ベクトルｘ１，ｘ２，ｘ３）が入力され、出力側（図１２の右側）から複数の出力ベクトルｙ（図１２では出力ベクトルｙ１，ｙ２，ｙ３）が出力される。このニューラルネットワークは、３つの層Ｌ１，Ｌ２，Ｌ３から構成される。

第１の層Ｌ１では、入力ベクトルｘ１，ｘ２，ｘ３は、３つのニューロンＮ１１，Ｎ１２，Ｎ１３のそれぞれに、対応する重みが掛けられて入力される。図１２では、これらの重みは、まとめてＷ１と表記されている。ニューロンＮ１１，Ｎ１２，Ｎ１３は、それぞれ、特徴ベクトルｚ１１，ｚ１２，ｚ１３を出力する。

第２の層Ｌ２では、特徴ベクトルｚ１１，ｚ１２，ｚ１３は、２つのニューロンＮ２１，Ｎ２２のそれぞれに、対応する重みが掛けられて入力される。図１２では、これらの重みは、まとめてＷ２と表記されている。ニューロンＮ２１，Ｎ２２は、それぞれ、特徴ベクトルｚ２１，ｚ２２を出力する。

第３の層Ｌ３では、特徴ベクトルｚ２１，ｚ２２は、３つのニューロンＮ３１，Ｎ３２，Ｎ３３のそれぞれに、対応する重みが掛けられて入力される。図１２では、これらの重みは、まとめてＷ３と表記されている。ニューロンＮ３１，Ｎ３２，Ｎ３３は、それぞれ、出力ベクトルｙ１，ｙ２，ｙ３を出力する。

ニューラルネットワークの動作には、学習モードと予測モードとがある。学習モードでは、学習データセットを用いて重みＷ１，Ｗ２，Ｗ３を学習する。予測モードでは、学習した重みＷ１，Ｗ２，Ｗ３のパラメータを用いて識別等の予測を行う。

重みＷ１，Ｗ２，Ｗ３は、例えば、誤差逆伝播法（バックプロパゲーション）により学習可能である。この場合、誤差に関する情報は、出力側から入力側に向かって、言い換えると、図１２において右側から左側に向かって伝達される。誤差逆伝播法は、各ニューロンにおいて、入力ｘが入力されたときの出力ｙと、真の出力ｙ（教師データ）との差を小さくするように、重みＷ１，Ｗ２，Ｗ３を調整して学習する手法である。

ニューラルネットワークは、３層より多い層を有するように構成することができる。４層以上のニューラルネットワークによる機械学習の手法は、ディープラーニング（深層学習）として知られている。

（５－２）サポートベクターマシン
サポートベクターマシン（ＳＶＭ）とは、最大マージンを実現する２クラス線形識別関数を求めるアルゴリズムである。図１３は、ＳＶＭを説明するための図である。２クラス線形識別関数とは、図１３に示される特徴空間において、２つのクラスＣ１，Ｃ２の学習データを線形分離するための超平面である識別超平面Ｐ１，Ｐ２を表す。図１３において、クラスＣ１の学習データは円で示され、クラスＣ２の学習データは正方形で示されている。識別超平面のマージンとは、識別超平面に最も近い学習データと、識別超平面との間の距離である。図１３には、識別超平面Ｐ１のマージンｄ１、及び、識別超平面Ｐ２のマージンｄ２が示されている。ＳＶＭでは、マージンが最大となるような識別超平面である最適識別超平面Ｐ１が求められる。一方のクラスＣ１の学習データと最適識別超平面Ｐ１との間の距離の最小値ｄ１は、他方のクラスＣ２の学習データと最適識別超平面Ｐ２との間の距離の最小値ｄ１と等しい。

図１３において、２クラス問題の教師あり学習に用いられる学習データセットＤ_Lを以下の式（２）で表す。

学習データセットＤ_Lは、学習データ（特徴ベクトル）ｘ_iと、教師データｔ_i＝｛－１，＋１｝との対の集合である。学習データセットＤ_Lの要素数は、Ｎである。教師データｔ_iは、学習データｘ_iがクラスＣ１，Ｃ２のどちらに属するのかを表す。クラスＣ１はｔ_i＝－１のクラスであり、クラスＣ２はｔ_i＝＋１のクラスである。

図１３において、全ての学習データｘ_iで成り立つ、正規化された線形識別関数は、以下の２つの式（３－１）及び（３－２）で表される。ｗは係数ベクトルであり、ｂはバイアスである。

これらの２つの式は、以下の１つの式（４）で表される。

識別超平面Ｐ１，Ｐ２を以下の式（５）で表す場合、そのマージンｄは、式（６）で表される。

式（６）において、ρ（ｗ）は、クラスＣ１，Ｃ２のそれぞれの学習データｘ_iを識別超平面Ｐ１，Ｐ２の法線ベクトルｗ上に射影した長さの差の最小値を表す。式（６）の「ｍｉｎ」及び「ｍａｘ」の項は、それぞれ、図１３において符号「ｍｉｎ」及び符号「ｍａｘ」で示された点である。図１３において、最適識別超平面は、マージンｄが最大となる識別超平面Ｐ１である。

図１３は、２クラスの学習データが線形分離可能である特徴空間を表す。図１４は、図１３と同様の特徴空間であって、２クラスの学習データが線形分離不可能である特徴空間を表す。２クラスの学習データが線形分離不可能である場合、式（４）にスラック変数ξ_iを導入して拡張した次の式（７）を用いることができる。

スラック変数ξ_iは、学習時のみに使用され、０以上の値をとる。図１４には、識別超平面Ｐ３と、マージン境界Ｂ１，Ｂ２と、マージンｄ３とが示されている。識別超平面Ｐ３の式は式（５）と同じである。マージン境界Ｂ１，Ｂ２は、識別超平面Ｐ３からの距離がマージンｄ３である超平面である。

スラック変数ξ_iが０の場合、式（７）は式（４）と等価である。このとき、図１４において白抜きの円又は正方形で示されるように、式（７）を満たす学習データｘ_iは、マージンｄ３内で正しく識別される。このとき、学習データｘ_iと識別超平面Ｐ３との間の距離は、マージンｄ３以上である。

スラック変数ξ_iが０より大きく１以下の場合、図１４においてハッチングされた円又は正方形で示されるように、式（７）を満たす学習データｘ_iは、マージン境界Ｂ１，Ｂ２を超えているが、識別超平面Ｐ３を超えておらず、正しく識別される。このとき、学習データｘ_iと識別超平面Ｐ３との間の距離は、マージンｄ３未満である。

スラック変数ξ_iが１より大きい場合、図１４において黒塗りの円又は正方形で示されるように、式（７）を満たす学習データｘ_iは、識別超平面Ｐ３を超えており、誤認識される。

このように、スラック変数ξ_iを導入した式（７）を用いることで、２クラスの学習データが線形分離不可能である場合においても、学習データｘ_iを識別することができる。

上述の説明から、全ての学習データｘ_iのスラック変数ξ_iの和は、誤認識される学習データｘ_iの数の上限を表す。ここで、評価関数Ｌ_pを次の式（８）で定義する。

学習部１０３，２０３，３０３，４１３，４２３は、評価関数Ｌ_pの出力値を最小化する解（ｗ、ξ）を求める。式（８）において、第２項のパラメータＣは、誤認識に対するペナルティの強さを表す。パラメータＣが大きいほど、ｗのノルム（第１項）よりも誤認識数（第２項）を小さくする方を優先する解が求められる。

（５－３）決定木
決定木とは、複数の識別器を組み合わせて複雑な識別境界（非線形識別関数等）を得るためのモデルである。識別器とは、例えば、ある特徴軸の値と閾値との大小関係に関する規則である。学習データから決定木を構成する方法としては、例えば、特徴空間を２分割する規則（識別器）を求めることを繰り返す分割統治法がある。図１５は、分割統治法によって構成された決定木の一例である。図１６は、図１５の決定木によって分割される特徴空間を表す。図１６では、学習データは白丸又は黒丸で示され、図１５に示される決定木によって、各学習データは、白丸のクラス又は黒丸のクラスに分類される。図１５には、１から１１までの番号が付されたノードと、ノード間を結びＹｅｓ又はＮｏのラベルが付されたリンクとが示されている。図１５において、終端ノード（葉ノード）は、四角で示され、非終端ノード（根ノード及び内部ノード）は、丸で示されている。終端ノードは、６から１１までの番号が付されたノードであり、非終端ノードは、１から５までの番号が付されたノードである。各終端ノードには、学習データを表す白丸又は黒丸が示されている。各非終端ノードには、識別器が付されている。識別器は、特徴軸ｘ₁、ｘ₂の値と閾値ａ～ｅとの大小関係を判断する規則である。リンクに付されたラベルは、識別器の判断結果を示す。図１６において、識別器は点線で示され、識別器によって分割された領域には、対応するノードの番号が付されている。

分割統治法によって適切な決定木を構成する過程では、以下の（ａ）～（ｃ）の３点について検討する必要がある。
（ａ）識別器を構成するための特徴軸及び閾値の選択。
（ｂ）終端ノードの決定。例えば、１つの終端ノードに含まれる学習データが属するクラスの数。又は、決定木の剪定（根ノードが同じ部分木を得ること）をどこまで行うかの選択。
（ｃ）終端ノードに対する多数決によるクラスの割り当て。

決定木の学習方法には、例えば、ＣＡＲＴ、ＩＤ３及びＣ４．５が用いられる。ＣＡＲＴは、図１５及び図１６に示されるように、終端ノード以外の各ノードにおいて特徴空間を特徴軸ごとに２分割することで、決定木として２分木を生成する手法である。

決定木を用いる学習では、学習データの識別性能を向上させるために、非終端ノードにおいて特徴空間を最適な分割候補点で分割することが重要である。特徴空間の分割候補点を評価するパラメータとして、不純度とよばれる評価関数が用いられてもよい。ノードｔの不純度を表す関数Ｉ（ｔ）としては、例えば、以下の式（９－１）～（９－３）で表されるパラメータが用いられる。Ｋは、クラスの数である。

上式において、確率Ｐ（Ｃ_i｜ｔ）は、ノードｔにおけるクラスＣ_iの事後確率であり、言い換えると、ノードｔにおいてクラスＣ_iのデータが選ばれる確率である。式（９－３）の第２式において、確率Ｐ（Ｃ_j｜ｔ）は、クラスＣ_iのデータがｊ（≠ｉ）番目のクラスに間違われる確率であるので、第２式は、ノードｔにおける誤り率を表す。式（９－３）の第３式は、全てのクラスに関する確率Ｐ（Ｃ_i｜ｔ）の分散の和を表す。

不純度を評価関数としてノードを分割する場合、例えば、当該ノードにおける誤り率、及び、決定木の複雑さで決まる許容範囲まで、決定木を剪定する手法が用いられる。

（５－４）ランダムフォレスト
ランダムフォレストは、アンサンブル学習の一種であって、複数の決定木を組み合わせて識別性能を強化する手法である。ランダムフォレストを用いる学習では、相関が低い複数の決定木からなる群（ランダムフォレスト）が生成される。ランダムフォレストの生成及び識別には、以下のアルゴリズムが用いられる。
（Ａ）ｍ＝１からＭまで以下を繰り返す。
（ａ）Ｎ個のｄ次元学習データから、ｍ個のブートストラップサンプルＺ_mを生成する。
（ｂ）Ｚ_mを学習データとして、以下の手順で各ノードｔを分割して、ｍ個の決定木を生成する。
（ｉ）ｄ個の特徴からｄ´個の特徴をランダムに選択する。（ｄ´＜ｄ）
（ｉｉ）選択されたｄ´個の特徴の中から、学習データの最適な分割を与える特徴と分割点（閾値）を求める。
（ｉｉｉ）求めた分割点でノードｔを２分割する。
（Ｂ）ｍ個の決定木からなるランダムフォレストを出力する。
（Ｃ）入力データに対して、ランダムフォレストの各決定木の識別結果を得る。ランダムフォレストの識別結果は、各決定木の識別結果の多数決によって決定される。

ランダムフォレストを用いる学習では、決定木の各非終端ノードにおいて識別に用いる特徴をあらかじめ決められた数だけランダムに選択することで、決定木間の相関を低くすることができる。

（６）変形例Ｆ
第１乃至第４実施形態において、学習部１０３，２０３，３０３，４１３，４２３が用いる機械学習の手法である強化学習について説明する。強化学習は、一連の行動の結果としての報酬が最大となるような方策を学習する手法である。強化学習で用いられるモデル又はアルゴリズムは、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）等がある。Ｑ学習は、状態ｓの下で行動ａを選択する価値を表すＱ値を学習する手法である。Ｑ学習では、Ｑ値が最も高い行動ａが最適な行動として選択される。高いＱ値を求めるため、行動ａの主体（エージェント）には、状態ｓの下で選択した行動ａに対して報酬が与えられる。Ｑ学習では、エージェントが行動するたびに、以下の式（１０）を用いて、Ｑ値が更新される。

式（１０）において、Ｑ（ｓ_t，ａ_t）は、状態ｓ_tのエージェントが行動ａ_tを選択する価値を表すＱ値である。Ｑ（ｓ_t，ａ_t）は、状態ｓと行動ａとをパラメータとする関数（行動価値関数）である。ｓ_tは、時刻ｔにおけるエージェントの状態である。ａ_tは、時刻ｔにおけるエージェントの行動である。αは、学習係数である。αは、式（１０）によってＱ値が最適な値に収束するように設定される。ｒ_t+1は、エージェントが状態ｓ_t+1に遷移したときに得る報酬である。γは、割引率である。γは、０以上１以下の定数である。ｍａｘを含む項は、環境ｓ_t+1の下で、最もＱ値が高い行動ａを選択した場合のＱ値にγを掛けたものである。行動価値関数によって求められるＱ値は、エージェントが得る報酬の期待値である。

（７）変形例Ｇ
第１実施形態及び変形例Ａにおいて、状態変数は、室内条件及び室外条件の少なくとも１つをさらに含んでもよい。室内条件は、対象空間の温度、湿度、温度変化量、湿度変化量、在室人数、及び、対象空間に設置されている機器の消費電力量の少なくとも１つを含む。対象空間に設置されている機器とは、空気調和装置１１０、照明、及びＰＣ等である。室外条件は、空気調和装置１１０の室外機が設置されている空間の温度、湿度、及び、日射量の少なくとも１つを含む。

上述の室内条件及び室外条件は、デマンド目標値に影響を与える外乱に相当する。そのため、変形例Ｇの機械学習装置１００は、所定のデマンド目標値が設定された場合に、外乱の影響を考慮して、当該デマンド目標値を実現するための対象空間の設定温度を自動的に決定することができる。

（８）変形例Ｈ
第３及び第４実施形態及び変形例Ｃにおいて、状態変数は、室内条件及び室外条件の少なくとも１つをさらに含んでもよい。室内条件は、対象空間の温度、湿度、温度変化量、湿度変化量、在室人数、及び、対象空間に設置されている機器の消費電力量の少なくとも１つを含む。対象空間に設置されている機器とは、空気調和装置３１０，４１０、照明、及びＰＣ等である。室外条件は、空気調和装置３１０，４１０の室外機が設置されている空間の温度、湿度、及び、日射量の少なくとも１つを含む。

上述の室内条件及び室外条件は、空気調和装置３１０，４１０が設置されている対象空間の熱容量特性に影響を与える外乱に相当する。そのため、変形例Ｈの機械学習装置３００，４００は、外乱の影響を考慮して、対象空間の熱容量特性の予測値を高い精度で取得することができる。

（９）変形例Ｉ
上述の実施形態及び変形例において、機械学習装置１００，２００，３００，４００は、教師あり学習又は強化学習の手法を用いる。しかし、機械学習装置１００，２００，３００，４００は、教師あり学習と強化学習とを組み合わせた手法を用いてもよい。

（１０）変形例Ｊ
上述の実施形態及び変形例において、学習部１０３，２０３，３０３，４１３，４２３は、種種の機械学習の手法を用い得る。学習部１０３，２０３，３０３，４１３，４２３が用い得る機械学習の手法は、既に説明した教師あり学習及び強化学習の他に、教師なし学習、半教師あり学習、トランスダクティブ学習、マルチタスク学習及び転移学習等がある。学習部１０３，２０３，３０３，４１３，４２３は、これらの手法を組み合わせて用いてもよい。

教師なし学習は、教師データを用いずに、所定の統計的性質に基づいて入力データをグループ分け（クラスタリング）する手法である。教師なし学習で用いられるモデル又はアルゴリズムとしては、ｋ平均法（ｋ－ｍｅａｎｓ法）、ウォード法（Ｗａｒｄ法）、主成分分析等がある。ｋ平均法は、各入力データにランダムにクラスタを割り当て、各クラスタの中心を計算し、各入力データを最も近い中心のクラスタに割り当て直す工程を繰り返す手法である。ウォード法は、クラスタの各入力データからクラスタの質量中心までの距離を最小化するように、各入力データをクラスタに割り当て直す工程を繰り返す手法である。主成分分析は、相関のある複数の変数から、相関の最も小さい主成分と呼ばれる変数を生成する多変量解析の手法である。

半教師あり学習は、対応する教師データが付かない入力データ（ラベルなしデータ）と、対応する教師データ付きの入力データ（ラベルありデータ）との両方を用いて学習する手法である。

トランスダクティブ学習は、半教師あり学習において、学習に用いられるラベルなしデータに対応する出力を生成し、未知の入力データに対応する出力を生成しない手法である。

マルチタスク学習は、複数の関連するタスク同士の情報を共有して、これらのタスクを同時に学習させることで、タスクに共通の要因を獲得してタスクの予測精度を上げる手法である。

転移学習は、あるドメインで予め学習させたモデルを、別のドメインに適応することで予測精度を上げる手法である。

―むすび―
以上、本開示の実施形態を説明したが、特許請求の範囲に記載された本開示の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

機械学習装置は、所定のデマンド目標値を実現するための設定温度を決定することができる。

１０ デマンド制御システム
２０ 空調制御システム
３０ 空調制御システム
４０ 空調制御システム
１００ 機械学習装置
１０１ 状態変数取得部（第１取得部）
１０３ 学習部
１０４ 関数更新部（更新部）
１０４ａ 教師データ蓄積部（蓄積部）
１０４ｂ 判定部
１０５ 評価データ取得部（第２取得部）
１０７ 関数変更部（変更部）
１１０ 空気調和装置
２００ 機械学習装置
２０１ 状態変数取得部（第１取得部）
２０２ 制御量取得部（第２取得部）
２０３ 学習部
２０４ 関数更新部（更新部）
２０５ 推論部
２１０ 空気調和装置
３００ 機械学習装置
３０１ 状態変数取得部（第１取得部）
３０２ 制御量取得部（第２取得部）
３０３ 学習部
３０４ 関数更新部（更新部）
３０５ 推論部
３１０ 空気調和装置
４００ 機械学習装置
４０６ 操作量候補出力部（出力部）
４０７ 操作量決定部（決定部）
４１０ 空気調和装置
４１１ 第１の状態変数取得部（第１の取得部）
４１２ 第１の制御量取得部（第２の取得部）
４１３ 第１の学習部
４１４ 第１の関数更新部
４１５ 第１の推論部
４２１ 第２の状態変数取得部（第３の取得部）
４２２ 第２の制御量取得部（第４の取得部）
４２３ 第２の学習部
４２４ 第２の関数更新部
４２５ 第２の推論部

特開２０１１－３６０８４号公報

Claims (6)

1. 対象空間に設置されている空気調和装置（１１０）の所定時限における消費電力量の上限値であるデマンド目標値を達成するための前記対象空間の設定温度を学習する機械学習装置であって、
   学習部（１０３）と、
   前記空気調和装置の消費電力量、及び、前記対象空間の状態に相関する室内状態値の少なくとも１つを含む第１変数を取得する第１取得部（１０１）と、
   前記空気調和装置の制御結果を評価する評価データを取得する第２取得部（１０５）と、
   前記評価データを用いて報酬を算出することで前記学習部の学習状態を更新する更新部（１０４）と、
   決定部（１０６）と、
   を備え、
   前記学習部は、前記更新部が算出した前記報酬を用いて、前記第１変数と前記設定温度とを関連付けて学習して、学習済みモデルを出力し、
   前記第２取得部は、前記空気調和装置の電力値、電流値、及び、圧縮機の回転数の少なくとも１つを、所定の評価関数に入力して、前記評価関数の出力値を前記評価データとして取得し、
   前記決定部は、前記学習部による学習の結果得られた前記学習済みモデルに基づき、前記第１取得部が取得した前記第１変数から、前記設定温度を決定する、
   機械学習装置（１００）。
2. 前記更新部は、前記デマンド目標値と、前記評価データに含まれる前記空気調和装置の消費電力量との差が小さいほど、高い前記報酬を算出する、
   請求項１に記載の機械学習装置。
3. 前記第１変数を入力変数とし前記設定温度を出力変数とする識別関数のパラメータを調整する変更部（１０７）をさらに備え、
   前記学習部は、前記変更部の出力に従って、前記識別関数のパラメータの変更を複数回行い、パラメータが変更された前記識別関数毎に前記第１変数から前記設定温度を出力し、
   前記更新部は、蓄積部（１０４ａ）と判定部（１０４ｂ）とを備え、
   前記判定部は、前記評価データを用いて判定結果を出力し、
   前記蓄積部は、前記判定結果に従って、前記第１変数と、前記学習部が前記第１変数から出力した前記設定温度とから教師データを蓄積し、
   前記学習部は、前記蓄積部に蓄積された前記教師データに基づいて学習する、
   請求項１に記載の機械学習装置。
4. 前記室内状態値は、前記対象空間の温度、湿度、温度変化量、及び、湿度変化量の少なくとも１つである、
   請求項１から３のいずれか１項に記載の機械学習装置。
5. 前記第１変数は、室内条件及び室外条件の少なくとも１つをさらに含み、
   前記室内条件は、前記対象空間に設置されている機器の消費電力量、及び、前記対象空間の在室人数の少なくとも１つを含み、
   前記室外条件は、前記空気調和装置の室外機が設置されている空間の温度、湿度、及び、日射量の少なくとも１つを含む、
   請求項１から４のいずれか１項に記載の機械学習装置。
6. 請求項１から５のいずれか１項に記載の機械学習装置と、
   空気調和装置と、
   を備える、デマンド制御システム（１０）。

Images