JP7208519B2 - 台数制御装置、台数制御方法、台数制御プログラム - Google Patents

Description

本開示は、台数制御装置、台数制御方法、台数制御プログラムに関する。

従来から、ターボ冷凍機等の熱源機を複数台備え、外部負荷が要求する要求熱量に応じて熱源機の起動台数を制御する熱源システムが知られている。

また、従来の熱源システムでは、熱源機を制御する熱源機制御装置が、熱源機の成績係数と負荷率との関係を示したＣＯＰ情報を備え、所定のタイミングで台数制御装置へＣＯＰ情報を送信し、台数制御装置は、ＣＯＰ情報に基づいて熱源機の台数制御を行うことが知られている（特許文献１）。

特許第５４０４３３３号公報

しかしながら、従来技術では、熱源システムにＣＯＰ情報を備えていない熱源機が含まれる場合や、経年劣化等で熱源機の特性が変化した場合等においては、適切に熱源機の台数を制御することが困難である。

本開示は、適正に熱源機の運転台数を制御する台数制御装置、台数制御方法、台数制御プログラムを提供する。

本開示の第１の態様による台数制御装置は、
並列に接続された複数の熱源機において、起動させる熱源機の台数を学習する台数制御装置であって、
前記熱源機の運転条件及び負荷の入力と、前記起動させる熱源機の台数の出力との関係を学習する学習部と、
少なくとも前記熱源機の運転条件及び負荷を含む状態変数を取得する状態変数取得部と、
起動している前記熱源機によって消費される消費エネルギーを取得する判定データ取得部と、を備え、
前記学習部は、
前記消費エネルギーに基づいて報酬を算出する報酬算出部と、を備え、
前記報酬算出部により算出された報酬を用いて、前記入力と前記出力との関係を学習する。

本開示の第１の態様によれば、適正に熱源機の運転台数を制御する台数制御装置を提供することができる。

本開示の第２の態様による台数制御装置は、
前記報酬算出部は、
前記消費エネルギーが小さいほど高い報酬を与える。

本開示の第２の態様によれば、消費エネルギーが小さくなるように、熱源機の運転台数を制御することができる。

本開示の第３の態様による台数制御装置は、
前記報酬算出部は、
前記負荷と、前記負荷の目標値との差分が小さいほど高い報酬を与える。

本開示の第３の態様によれば、負荷を目標値に近づけるように、熱源機の運転台数を制御することができる。

本開示の第４の態様による台数制御装置は、
前記状態変数は、
前記熱源機毎に、前記熱源機が稼働している時間を積算した稼働時間を含み、
前記報酬算出部は、
起動している前記熱源機の稼働時間の偏りが小さいほど、高い報酬を与える。

本開示の第４の態様によれば、熱源機の稼働時間のばらつきを抑制するように、熱源機の運転台数を制御することができる。

本開示の第５の態様による台数制御装置は、
前記状態変数は、
前記熱源機毎の稼働履歴を示すデータを含み、
前記出力は、
前記起動させる熱源機を特定する情報を含む。

本開示の第５の態様によれば、起動させる熱源機を特定することができる。

本開示の第６の態様による台数制御装置は、
前記起動させる熱源機は、稼働時間が短い順に特定される。

本開示の第６の態様によれば、起動させる熱源機を特定することができる。

本開示の第７の態様による台数制御方法は、
並列に接続された複数の熱源機において、起動させる熱源機の台数を学習する台数制御装置による台数制御方法であって、前記台数制御装置が、
前記熱源機の運転条件及び負荷の入力と、前記起動させる熱源機の台数の出力との関係を学習部に学習させ、
少なくとも前記熱源機の運転条件及び負荷を含む状態変数を取得し、
起動している前記熱源機によって消費される消費エネルギーを取得し、
前記消費エネルギーに基づいて報酬を算出し、
算出された報酬を用いて、前記学習部に、前記入力と前記出力との関係を学習させる。

本開示の第８の態様による台数制御プログラムは、
並列に接続された複数の熱源機において、起動させる熱源機の台数を学習する台数制御装置に実行される台数制御プログラムであって、前記台数制御装置に、
前記熱源機の運転条件及び負荷の入力と、前記起動させる熱源機の台数の出力との関係を学習部に学習させる処理と、
少なくとも前記熱源機の運転条件及び負荷を含む状態変数を取得する処理と、
起動している前記熱源機の消費エネルギーを取得する処理と、
前記消費エネルギーに基づいて報酬を算出する処理と、
算出された報酬を用いて、前記学習部に、前記入力と前記出力との関係を学習させる処理と、を実行させる。

熱源システムのシステム構成の一例を示す図である。 熱源機の構成を説明する第一の図である。 熱源機の構成を説明する第二の図である。 台数制御システムのシステム構成の一例を示す図である。 台数制御装置のハードウェア構成の一例を示す図である。 台数制御装置の機能構成を説明する図である。 第一の実施形態の台数制御装置の動作を説明するフローチャートである。 成績係数と負荷率との関係を示したＣＯＰ情報の一例を示す図である。 第二の実施形態の台数制御装置の動作を説明するフローチャートである。 第三の実施形態の台数制御装置の動作を説明するフローチャートである。

（第一の実施形態）
以下に、図面を参照して、第一の実施形態について説明する。図１は、熱源システムの全体構成の一例を示す図である。

本実施形態の熱源システム１００は、例えば、ビルや工場設備に設置される。図１に示すように、熱源システム１００は、空調機やファンコイル等の外部負荷３００に供給する冷水（熱媒）に対して冷熱を与える熱源機１１０、１２０、１３０を３台備え、外部負荷３００に対して並列に設置されている。

冷水の流れからみた各熱源機１１０、１２０、１３０の上流側には、それぞれ、冷水を圧送する冷水ポンプ２１０、２２０、２３０が設置されている。冷水ポンプ２１０、２２０、２３０は、リターンヘッダ３２０からの冷水を各熱源機１１０、１２０、１３０へと送る。各冷水ポンプ２１０、２２０、２３０は、インバータモータによって駆動されることで、回転数が可変となり、可変流量制御される。

サプライヘッダ３１０には、各熱源機１１０、１２０、１３０において得られた冷水が集められるようになっている。サプライヘッダ３１０に集められた冷水は、外部負荷３００に供給され、外部負荷３００にて空調等に供給されて昇温し、リターンヘッダ３２０に送られる。冷水は、リターンヘッダ３２０において分岐され、各熱源機１１０、１２０、１３０に送られる。

冷水ポンプ２１０の下流側には、冷水ポンプ２１０から流出する流量を計測する冷水流量計２４０が設けられている。この冷水流量計２４０の出力は、後述する熱源機１１０の熱源機制御装置４００－１（図２－４参照）へと送られる。

熱源機１１０の上流側の冷水配管には、熱源機１１０へと流入する冷水温度を計測するための冷水入口温度センサ２９０が設けられている。また、熱源システム１００では、熱源機１１０の下流側の冷水配管には、熱源機１１０から流出する冷水温度を計測するための冷水出口温度センサ２９２が設けられている。

この冷水入口温度センサ２９０の出力と、冷水出口温度センサ２９２の出力は、後述する熱源機制御装置４００－１（図２－４参照）へと送られる。

尚、バイパス配管３３０のバイパス弁３４０が全閉であれば、冷水入口温度センサに代えて、リターンヘッダ３２０の上流側の冷水配管に設けた温度センサ２９１を用いても良い。

尚、熱源機１２０及び熱源機１３０についても、熱源機１１０と同様に、冷水流量計や冷水入口温度センサが設けられている。

次に、図２及び図３を参照して。熱源機１１０、１２０、１３０について説明する。図２は、熱源機の構成を説明する第一の図である。

図２に示すチラーユニット２０は、空冷式の熱源機１１０、１２０、１３０の一例である。チラーユニット２０は、冷媒回路Ｃ２を有し、熱源機制御装置４００－１によって制御される。また、チラーユニット２０は、冷媒回路Ｃ２において冷凍サイクルを行うことで、チラーユニット２０とエア・ハンドリングユニット（以下、「エアハンユニット」）とを跨って構成される水回路Ｃ１内の水の冷却又は加熱を行う。

そして、チラーユニット２０は、冷媒回路Ｃ２によって冷却又は加熱された水（Ｗ）を吐出して運転中のエアハンユニットに送る。

冷媒回路Ｃ２は、水回路Ｃ１内の水の冷却源となる冷媒が循環する回路である。冷媒回路Ｃ２は、チラーユニット２０内において構成されている。冷媒回路Ｃ２は、主として、チラーユニット２０に配置される圧縮機２１と、水熱交換器２２と、膨張弁２３と、室外熱交換器２４と、四路切換弁２５と、が第２配管Ｐ２で接続されることで構成されている。

冷媒回路Ｃ２では、運転中、圧縮機２１が運転状態に制御されるとともに膨張弁２３の開度が制御されることで、冷媒が所定方向（正サイクル運転時には図２の二点鎖線矢印ｄが示す方向、逆サイクル運転時にはｄとは逆の方向）に流れ、蒸気圧縮冷凍サイクルが行われる。

チラーユニット２０は、主として、圧縮機２１、水熱交換器２２、膨張弁２３、室外熱交換器２４、四路切換弁２５、室外ファン２６及び水ポンプＰａを有する。

圧縮機２１は、冷凍サイクルにおける低圧の冷媒を高圧になるまで圧縮する機器である。ここでは、圧縮機２１として、圧縮機モータを内蔵された密閉式構造の圧縮機が採用されている。圧縮機２１内には、例えばスクロール式等の容積式の圧縮要素（図示省略）が収容されており、圧縮機モータによって圧縮要素が回転駆動される。圧縮機モータは、インバータにより運転周波数を制御され、これにより圧縮機２１の容量制御が行われる。

水熱交換器２２は、水回路Ｃ１内の水と、冷媒回路Ｃ２内の冷媒と、を熱交換させ、水を冷却又は加熱する熱交換器である。水熱交換器２２においては、水回路Ｃ１に連通する水流路と、冷媒回路Ｃ２に連通する冷媒流路とが形成されており、水熱交換器２２は、水流路内の水と冷媒流路内の冷媒とが熱交換可能に構成されている。水熱交換器２２は、正サイクル運転（冷房運転や除湿運転）中、低圧冷媒の蒸発器として機能して冷水を冷却する。また、水熱交換器２２は、逆サイクル運転（暖房運転）中、高圧冷媒の凝縮器として機能して温水を加熱する。

膨張弁２３は、冷媒の減圧手段又は流量調整手段として機能する弁である。本実施形態
において、膨張弁２３は、開度制御が可能な電動膨張弁である。

室外熱交換器２４は、冷媒回路Ｃ２内の冷媒と空気とを熱交換させ、空気に放熱又は空気から吸熱する熱交換器である。室外熱交換器２４は、冷媒回路Ｃ２に連通する伝熱管、及び伝熱フィンを有している。室外熱交換器２４では、伝熱管及び伝熱フィンの周囲を通過する空気（後述する室外空気流）と、伝熱管を通過する冷媒と、で熱交換が行われる。室外熱交換器２４は、正サイクル運転中、高圧冷媒の凝縮器として機能する。室外熱交換器２４は、暖房運転中、低圧冷媒の蒸発器として機能する。

四路切換弁２５は、冷媒回路Ｃ２の流れを切り換える。四路切換弁２５は、４つの接続
ポートを有し、圧縮機２１の吸入配管、吐出配管、水熱交換器２２の冷媒流路のガス側、室外熱交換器２４のガス側、にそれぞれ接続されている。具体的に、四路切換弁２５は、第１状態と第２状態とを切換可能である。

第１状態は、水熱交換器２２の冷媒流路のガス側と圧縮機２１の吸入配管とを連通させるとともに、圧縮機２１の吐出配管と室外熱交換器２４のガス側とを連通させる状態である（図２の四路切換弁２５の実線を参照）。第２状態は、圧縮機２１の吐出配管と水熱交換器２２の冷媒流路のガス側とを連通させるとともに、室外熱交換器２４のガス側と圧縮機２１の吸入配管とを連通させる状態である（図２の四路切換弁２５の破線を参照）。四路切換弁２５は、正サイクル運転時には第１状態に制御され、逆サイクル運転時には第２状態に制御される。

室外ファン２６は、室外空気流を生成する送風機である。室外空気流は、チラーユニット２０内に流入し室外熱交換器２４を通過してチラーユニット２０外に流出する空気の流れである。室外空気流は、正サイクル運転時における室外熱交換器２４内の冷媒の冷却源であり、逆サイクル運転時における室外熱交換器２４内の冷媒の加熱源である。室外ファン２６は、ファンモータを含み、ファンモータをインバータ制御されることで回転数を調整される。すなわち、室外ファン２６は、風量可変である。

水ポンプＰａは、水回路Ｃ１に配置されている。水ポンプＰａは、運転中、水を吸引して吐出する。水ポンプＰａは、駆動源であるモータを含み、モータをインバータ制御されることで回転数を調整される。すなわち、水ポンプＰａは、吐出流量可変である。

熱源機制御装置４００－１は、設定温度（例えば、給気温度の目標値等）や負荷の状況（外気の温度や湿度）に応じて、水回路Ｃ１を循環する水の温度の目標値を設定し、水温の目標値や入力コマンドに基づき各部の動作（例えば圧縮機２１の容量、膨張弁２３の開度、四路切換弁２５の状態、室外ファン２６の回転数、水ポンプＰａの回転数等）を適宜調整する。

図３は、熱源機の構成を説明する第二の図である。図３に示すチラーユニット３０は、水冷式の熱源機１１０、１２０、１３０の一例であり、冷媒回路３１を含んでいる。また、チラーユニット３０は、熱源機制御装置４００－１によって制御される。

冷媒回路３１は、圧縮機３２、放熱器３３、チラー側膨張弁３４及び蒸発器３５等が順次接続されることで構成されている。冷媒回路３１内部には、冷媒が充填されている。

圧縮機３２は、運転容量の調節が可能である。圧縮機３２のモータには、インバータを介して電力が供給される。インバータの出力周波数を変更すると、モータの回転数、つまりは回転速度が変更され、圧縮機３２の運転容量が変化する。

放熱器３３は、冷媒回路３１と接続された第１伝熱管と、放熱回路６０と接続された第２伝熱管とを有している。放熱器３３は、冷媒回路３１側の第１伝熱管内を流れる冷媒と放熱回路６０側の第２伝熱管を流れる熱媒体との間で、熱交換を行わせる。
放熱回路６０には、熱媒体としての水が充填されている。放熱回路６０は、主として、チラーユニット２０内の放熱器３３、水ポンプ７１、及びクーリングタワー７３が、順次接続されることで構成されている。水ポンプ７１は、吐出流量の調節が可能であり、放熱回路６０内の水を循環させる。クーリングタワー７３では、放熱回路６０を循環する水が冷却される。

チラー側膨張弁３４は、冷媒回路３１内の冷媒を減圧させ、減圧させた冷媒を流出するためのものであり、電動膨張弁で構成される。

蒸発器３５は、冷媒回路３１と接続されている第３伝熱管と、タンク４１とヘッダ４２を介して熱媒体回路と接続されている第４伝熱管とを有している。

蒸発器３５は、冷媒回路３１側の第３伝熱管内を流れる冷媒と、熱媒体回路側の第４伝熱管を流れる熱媒体との間で、熱交換を行わせる。

タンク４１は、連絡配管Ｌ１を介してチラーユニット３０と接続され、チラーユニット３０によって加熱又は冷却された水である熱媒体が貯留される。ヘッダ４２は、連絡配管Ｌ４を介してチラーユニット３０と接続されており、連絡配管Ｌ４上には、チラーユニット３０に対応して一次側ポンプ４３が設けられている。一次側ポンプ４３は、容量調整が可能であって吐出容量を調整することができる容量可変型のポンプであって、熱源機制御装置４００－１によりインバータ駆動される。

尚、本実施形態に適用される熱源機１１０、１２０、１３０は、上述した熱源機に限定されない。例えば、熱源機１１０、１２０、１３０は、暖房機能のみ、或いは、冷房機能及び暖房機能の両方を有しているものであってもよい。また、冷媒と熱交換される媒体は、水でも空気でもよい。また、熱源機１１０、１２０、１３０は、は同一種類の冷凍機で統一されていてもよいし、複数種類の冷凍機が混在していてもよい。

次に、図４を参照して、本実施形態の台数制御システムについて説明する。図４は、台数制御システムのシステム構成の一例を示す図である。

本実施形態の台数制御システム５００は、熱源機１１０、１２０、１３０をそれぞれ制御する熱源機制御装置４００－１、４００－２、４００－３と、台数制御装置６００と、を有する。台数制御システム５００において、熱源機制御装置４００－１、４００－２、４００－３と、台数制御装置６００とは、通信媒体１０１を介して接続されており、双方向の通信が可能な構成とされている。

本実施形態の台数制御装置６００は、熱源システム１００において起動させる熱源機１１０、１２０，１３０の台数を学習し、起動させる熱源機の台数を決定する。

以下に、本実施形態の台数制御装置６００のハードウェア構成について説明する。図５は、台数制御装置のハードウェア構成の一例を示す図である。

台数制御装置６００は、ＣＰＵ（Central Processing Unit）６１、ＲＯＭ（Read Only Memory）６２、ＲＡＭ（Random Access Memory）６３を有する。ＣＰＵ６１、ＲＯＭ６２、ＲＡＭ６３は、いわゆるコンピュータを形成する。また、台数制御装置６００は、補助記憶装置６４、出力装置６５、入力装置６６、Ｉ／Ｆ（Interface）装置６７、ドライブ装置６８を有する。台数制御装置６００の各ハードウェアは、バス６９を介して相互に接続される。

ＣＰＵ６１は、補助記憶装置６４にインストールされている各種プログラム（例えば、ポンプ台数制御プログラム等）を実行する演算デバイスである。ＲＯＭ６２は、不揮発性メモリである。ＲＯＭ６２は、主記憶デバイスとして機能し、補助記憶装置６４にインストールされている各種プログラムをＣＰＵ６１が実行するために必要な各種プログラムやデータ等を格納する。具体的には、ＲＯＭ６２はＢＩＯＳ（Basic Input/Output System）やＥＦＩ（Extensible Firmware Interface）等のブートプログラム等を格納する。

ＲＡＭ６３は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の揮発性メモリである。ＲＡＭ６３は、主記憶デバイスとして機能し、補助記憶装置６４にインストールされている各種プログラムがＣＰＵ６１によって実行される際に展開される作業領域を提供する。

補助記憶装置６４は、各種プログラムや、各種プログラムが実行される際に用いられる情報を格納する。

出力装置６５は、台数制御装置６００が取得した情報を出力する出力デバイスである。出力装置６５は、例えば、表示装置等であっても良い。入力装置６６は、例えば、台数制御装置６００に対して各種操作を行うための入力デバイスである。Ｉ／Ｆ装置６７は、台数制御装置６００が他の機器と通信を行うための通信デバイスである。

ドライブ装置６８は記録媒体７０をセットするためのデバイスである。ここでいう記録媒体７０には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体７０には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

尚、補助記憶装置６４にインストールされる各種プログラムは、例えば、配布された記録媒体７０がドライブ装置６８にセットされ、記録媒体７０に記録された各種プログラムがドライブ装置６８により読み出されることでインストールされる。あるいは、補助記憶装置６４にインストールされる各種プログラムは、のネットワークよりダウンロードされることで、インストールされてもよい。

次に、図６を参照して、台数制御装置６００の機能構成について説明する。図６は、台数制御装置の機能構成を説明する図である。

本実施形態の台数制御装置６００は、例えば、ＣＰＵ６１が、補助記憶装置６４にインストールされた台数制御プログラムを読み込んで実行することで、図６の示す機能を実現する。

本実施形態の台数制御装置６００は、状態変数取得部６１０、判定データ取得部６２０、学習部６３０を有する。

本実施形態の状態変数取得部６１０は、状態変数を取得し、学習部６３０に入力する。

本実施形態の状態変数とは、学習対象が存在する環境の現在状態を示すデータである。具体的には、本実施形態では、状態変数として、熱源機１１０、１２０、１３０の運転条件と、運転中の熱源機１１０、１２０、１３０の負荷と、を取得する。

各熱源機の運転条件は、例えば、熱源機１１０、１２０、１３０が図２に示す空冷式の熱源機であった場合には、外気温度である。尚、外気温度は、熱源機１１０の近傍に設けられた温度計によって取得されても良い。また、外気温度は、熱源機１１０の凝縮温度や熱源機１１０の有する圧縮機２１や室外ファン２６の運転状況に基づき推定された値であっても良い。

また、各熱源機の運転条件とは、例えば、熱源機１１０、１２０、１３０が図３に示す水冷式の熱源機であった場合には、冷却水温度である。冷却水温度は、例えば、温度センサ２９０から熱源機制御装置４００－１によって取得された値であっても良い。また、運転条件には、運転中の熱源機の台数が含まれても良い。

熱源機１１０、１２０、１３０の負荷とは、例えば、熱源システム１００が定常状態である場合における出入水温度差と冷却水流量との積によって算出される冷却熱量であっても良い。

出入水温度差は、例えば、冷水入口温度センサ２９０の出力と、冷水出口温度センサ２９２の出力との差分から求めることができる。冷却水量は、冷水流量計２４０の出力である。尚、冷却水量は、冷水ポンプ２１０のインバータの電圧や周波数から算出されても良い。

また、負荷は、例えば、熱源機１１０の有する圧縮機２１、３２の負荷率、圧縮機２１、３２のモータの回転数、水回路Ｃ１や放熱回路６０を循環する水の量（冷媒循環量）として取得されても良い。

さらに、本実施形態では、状態変数に、運転目標値が含まれても良い。運転目標値とは、送水温度（冷却水温度の目標値）であっても良い。

本実施形態の判定データ取得部６２０は、学習部６３０に入力する判定データを取得する。本実施形態の判定データ取得部６２０は、判定データとして、状態変数取得部６１０が取得する状態変数の下で、熱源システム１００を動作させた時に、起動している全ての熱源機の消費エネルギーの指標を示すデータを取得する。

具体的には、判定データ取得部６２０は、判定データとして、熱源システム１００の消費電力、エネルギー消費効率（ＣＯＰ；Coefficient Of Performance）、ＣＯ_２排出量、エネルギーコストの何れかを取得しても良い。

エネルギーコストとは、例えば、電気やガスを使用するのにかかる費用を意味する。

本実施形態の学習部６３０は、学習アルゴリズムの一例として強化学習を実行する。本実施形態の学習部６３０は、報酬算出部６３１と、関数更新部６３２と、を有する。

報酬算出部６３１は、判定データに関連する報酬を算出する。関数更新部６３２は、状態変数と、運転する熱源機の台数との関係を示す関数である台数算出モデル６３３を有し、報酬算出部６３１によって算出された報酬に応じて、台数算出モデル６３３を更新する。

より具体的には、学習部６３０は、報酬算出部６３１で算出される報酬が最大となるように、関数更新部６３２により、台数算出モデル６３３のモデルパラメータを変更する。また、学習部６３０は、モデルパラメータが変更された台数算出モデル６３３に対して、状態変数を入力することで、台数算出モデル６３３を実行させる。これにより、台数算出モデル６３３は、運転する熱源機の台数を出力する。

本実施形態の台数制御装置６００は、台数算出モデル６３３により、熱源機の台数が出力されると、出力された台数の熱源機を起動させ、状態変数取得部６１０による状態変数の取得と、判定データ取得部６２０による判定データの取得を繰り返す。

このように、本実施形態では消費エネルギーが小さくなるほど、算出される報酬が大きくなるように、台数算出モデル６３３について強化学習を行う。これにより、学習部６３０は、ある運転条件において、消費エネルギーが最も小さくなるように、運転する熱源機の台数を決定することができる。

次に、図7を参照して、本実施形態の台数制御装置６００の動作について説明する。図7は、第一の実施形態の台数制御装置の動作を説明するフローチャートである。

本実施形態の台数制御装置６００は、状態変数取得部 ６１０により、状態変数を取得する（ステップＳ７０１）。続いて、台数制御装置６００は、判定データ取得部６２０により、消費エネルギーを取得する（ステップＳ７０２）。

続いて、台数制御装置６００は、学習部６３０の報酬算出部６３１により、消費エネルギーが、前回取得した消費エネルギーよりも減少したか否かを判定する（ステップＳ７０３）。

ステップＳ７０３において、消費エネルギーが減少した場合、報酬算出部６３１は、報酬を増やし（ステップＳ７０４）、学習部６３０は、後述するステップＳ７０６へ進む。

ステップＳ７０３において、消費エネルギーが増加した場合、報酬算出部６３１は、報酬を減らし（ステップＳ７０５）、学習部６３０は、後述するステップＳ７０６へ進む。

ステップＳ７０４、７０５に続いて、学習部６３０は、算出された報酬と、状態変数とに基づき、台数算出モデル６３３を更新する（ステップＳ７０６）。

続いて、学習部６３０は、台数算出モデル６３３を実行し、運転する熱源機の台数を決定する（ステップＳ７０７）。尚、本実施形態では、ステップＳ７０１で取得した状態変数を入力することにより、台数算出モデル６３３を実行するものとしたが、これに限定されない。台数算出モデル６３３に入力される状態変数は、台数算出モデル６３３が更新された後に取得されても良い。

続いて、台数制御装置６００は、決定された台数の熱源機を起動させる（ステップＳ７０８）。

続いて、台数制御装置６００は、学習部６３０による学習を継続するか否かを判定する（ステップＳ７０９）。ステップＳ７０９において、学習を継続する場合は、台数制御装置６００は、ステップＳ７０１に戻る。尚、本実施形態では、報酬が所定の閾値未満である場合は学習を継続し、報酬が所定の閾値以上となった場合に学習を終了しても良い。

このように、本実施形態によれば、熱源システム１００における熱源機の運転条件と、負荷に応じて、消費エネルギーが最も小さくなるように、起動させる熱源機の台数を決定することができる。

したがって、本実施形態では、図８に示すような、熱源機のＣＯＰ情報を保持しておく必要がない。図８は、成績係数と負荷率との関係を示したＣＯＰ情報の一例を示す図である。

本実施形態の台数制御装置６００では、このような、熱源機のＣＯＰ情報を保持していなくても、熱源システム１００における熱源機の運転条件と、負荷のみで、起動させる熱源機の台数を決定することができる。

したがって、本実施形態では、例えば、熱源システム１００に、それぞれの特定が異なる熱源機が混在していた場合や、経年劣化等によって熱源機の特性が変化した場合であっても、適正な台数の熱源機を運転させることができる。

また、本実施形態によれば、例えば、熱源システム１００の設置の際や、設備の入れ替えの際等に、熱源機のＣＯＰ情報を入力する手間を削減することができる。

（第二の実施形態）
以下に、図面を参照して、第二の実施形態について説明する。第二の実施形態では、報酬の算出に、負荷と負荷の目標値との差分を用いる点が、第一の実施形態と相違する。

以下に、図９を参照して、第二の実施形態について説明する。図９は、第二の実施形態の台数制御装置の動作を説明するフローチャートである。
本実施形態の台数制御装置６００は、状態変数取得部６１０により、状態変数を取得する（ステップＳ９０１）。続いて、台数制御装置６００は、判定データ取得部６２０により、消費エネルギーと、負荷と負荷の目標値との差分を取得する（ステップＳ９０２）。負荷の目標値は、予め熱源機制御装置４００－１に設定されていても良く、判定データ取得部６２０は、この目標値を取得しても良い。

続いて、台数制御装置６００は、学習部６３０の報酬算出部６３１により、消費エネルギーが、前回取得した消費エネルギーよりも減少し、且つ、負荷と負荷の目標値との差分が前回取得した値より減少したか否かを判定する（ステップＳ９０３）。

ここで、報酬算出部６３１では、消費エネルギーの減少に対する重みを、負荷と負荷の目標値との差分の減少に対する重みよりも大きくし、消費エネルギーの減少に対する評価が優先されるようにした。

ステップＳ９０３において、「消費エネルギーが減少し、且つ、負荷と負荷の目標値との差分が減少した」という条件を満たす場合、報酬算出部６３１は、報酬を増やし（ステップＳ９０４）、学習部６３０は、後述するステップＳ９０６へ進む。

ステップＳ７０３において、上述した条件を満たさない場合、報酬算出部６３１は、報酬を減らし（ステップＳ９０５）、学習部６３０は、後述するステップＳ９０６へ進む。

ステップＳ９０６からステップＳ９０９までの処理は、図７のステップＳ７０６からステップＳ７０９までの処理と同様であるから、説明を省略する。

以上のように、本実施形態では、熱源システム１００における熱源機の運転条件と、負荷に応じて、消費エネルギーが最も小さく、且つ、負荷が目標値と近くなるように、起動させる熱源機の台数を決定する。したがって、本実施形態によれば、例えば、負荷が目標値と一致するように起動する熱源機の台数を決定することが困難な場合でも、負荷を目標値に近づけるように、熱源機の台数を決定することができる。
（第三の実施形態）
以下に、図面を参照して、第三の実施形態について説明する。第三の実施形態では、報酬の算出に、熱源機毎の稼働時間の偏りを用いる点が、第一の実施形態と相違する。

以下に、図１０を参照して、第三の実施形態について説明する。図１０は、第三の実施形態の台数制御装置の動作を説明するフローチャートである。
本実施形態の台数制御装置６００は、状態変数取得部６１０により、状態変数を取得する（ステップＳ１００１）。尚、本実施形態では、状態変数として、各熱源機の稼働時間の実績データを含む。稼働時間の実績データとは、熱源機を設置してから現在までに稼働していた時間を積算した値であり、熱源機制御装置４００－１によって保持されていても良い。以下の説明では、稼働時間の実績データを単に稼働時間と呼ぶ場合がある。

続いて、台数制御装置６００は、判定データ取得部６２０により、消費エネルギーと、各熱源機の稼働時間とを取得する（ステップＳ１００２）。

続いて、台数制御装置６００は、学習部６３０の報酬算出部６３１により、消費エネルギーが、前回取得した消費エネルギーよりも減少し、且つ、熱源機同士の稼働時間の偏り（ばらつき）が前回の偏りよりも減少したか否かを判定する（ステップＳ１００３）。

ここで、報酬算出部６３１では、消費エネルギーの減少に対する重みを、熱源機同士の稼働時間の偏りの減少に対する重みよりも大きくし、消費エネルギーの減少に対する評価が優先されるようにした。また、稼働時間の偏りとは、各熱源機の稼働時間のうち、最も長い稼働時間と、最も短い稼働時間との差分によって示されても良いし、各熱源機の稼働時間の平均と、各熱源機の稼働時間との差分によって示されても良い。

ステップＳ１００３において、「消費エネルギーが減少し、且つ、熱源機同士の稼働時間の偏りが減少する」という条件を満たす場合、報酬算出部６３１は、報酬を増やし（ステップＳ１００４）、学習部６３０は、後述するステップＳ１００６へ進む。

ステップＳ１００３において、上述した条件を満たさない場合、報酬算出部６３１は、報酬を減らし（ステップＳ１００５）、学習部６３０は、後述するステップＳ１００６へ進む。

ステップＳ１００６からステップＳ１００９までの処理は、図７のステップＳ７０６からステップＳ７０９までの処理と同様であるから、説明を省略する。

尚、本実施形態では、例えば、状態変数に、各熱源機の稼働履歴を示すデータを含めても良い。稼働履歴とは、各熱源機が稼働していた時間帯等を含む。より具体的には、稼働履歴とは、熱源機が起動した時刻と停止した時刻等を含む。

そして、本実施形態では、各熱源機の稼働履歴を示す情報を含む状態変数を、台数算出モデル６３３に入力することで、台数算出モデル６３３を実行させ、起動させる熱源機の台数と、起動させる熱源機を特定する情報とを出力させても良い。

この場合、例えば、稼働時間が一定の値未満である熱源機の中から、起動させる熱源機を順番に特定するようにしても良いし、同一の熱源機が続けて起動されないように、起動させる熱源機を特定するようにしても良い。

また、本実施形態では、運転する熱源機の台数が決定されると、稼働時間の短い熱源機から順に、決められた台数の熱源機を起動させても良い。

以上のように、本実施形態によれば、熱源システム１００における熱源機の運転条件と、負荷に応じて、消費エネルギーが最も小さく、且つ、熱源機の稼働時間の偏りが少なくなるように、起動させる熱源機の台数を決定することができる。したがって、本実施形態によれば、熱源システム１００に含まれる熱源機の特性が、稼働時間のばらつきによって変化することを抑制できる。

以上、実施形態を説明したが、特許請求の範囲の趣旨及び範囲から逸脱することなく、形態や詳細の多様な変更が可能なことが理解されるであろう。

１００ 熱源システム
１１０、１２０、１３０ 熱源機
３００ 負荷
６００ 台数制御装置
６１０ 状態変数取得部
６２０ 判定データ取得部
６３０ 学習部
６３１ 報酬算出部
６３２ 関数更新部
６３３ 台数算出モデル

Claims (8)

1. 並列に接続された複数の熱源機において、起動させる熱源機の台数を学習する台数制御装置であって、
   前記熱源機の運転条件及び負荷の入力と、前記起動させる熱源機の台数の出力との関係を学習する学習部と、
   少なくとも前記熱源機の運転条件及び負荷を含む状態変数を取得する状態変数取得部と、
   起動している前記熱源機によって消費される消費エネルギーを取得する判定データ取得部と、を備え、
   前記学習部は、
   前記消費エネルギーに基づいて報酬を算出する報酬算出部と、を備え、
   前記報酬算出部により算出された報酬を用いて、前記入力と前記出力との関係を学習する、台数制御装置。
2. 前記報酬算出部は、
   前記消費エネルギーが小さいほど高い報酬を与える、請求項１記載の台数制御装置。
3. 前記報酬算出部は、
   前記負荷と、前記負荷の目標値との差分が小さいほど高い報酬を与える、請求項２記載の台数制御装置。
4. 前記状態変数は、
   前記熱源機毎に、前記熱源機が稼働している時間を積算した稼働時間を含み、
   前記報酬算出部は、
   起動している前記熱源機の稼働時間の偏りが小さいほど、高い報酬を与える、請求項１乃至３の何れか一項に記載の台数制御装置。
5. 前記状態変数は、
   前記熱源機毎の稼働履歴を含み、
   前記出力は、
   前記起動させる熱源機を特定する情報を含む、請求項４記載の台数制御装置。
6. 前記起動させる熱源機は、稼働時間が短い順に特定される、請求項４記載の台数制御装置。
7. 並列に接続された複数の熱源機において、起動させる熱源機の台数を学習する台数制御装置による台数制御方法であって、前記台数制御装置が、
   前記熱源機の運転条件及び負荷の入力と、前記起動させる熱源機の台数の出力との関係を学習部に学習させ、
   少なくとも前記熱源機の運転条件及び負荷を含む状態変数を取得し、
   起動している前記熱源機によって消費される消費エネルギーを取得し、
   前記消費エネルギーに基づいて報酬を算出し、
   算出された報酬を用いて、前記学習部に、前記入力と前記出力との関係を学習させる、台数制御方法。
8. 並列に接続された複数の熱源機において、起動させる熱源機の台数を学習する台数制御装置に実行される台数制御プログラムであって、前記台数制御装置に、
   前記熱源機の運転条件及び負荷の入力と、前記起動させる熱源機の台数の出力との関係を学習部に学習させる処理と、
   少なくとも前記熱源機の運転条件及び負荷を含む状態変数を取得する処理と、
   起動している前記熱源機の消費エネルギーを取得する処理と、
   前記消費エネルギーに基づいて報酬を算出する処理と、
   算出された報酬を用いて、前記学習部に、前記入力と前記出力との関係を学習させる処理と、を実行させる台数制御プログラム。

Images