JP5927982B2

JP5927982B2 - ヒートポンプ式給湯機

Info

Publication number: JP5927982B2
Application number: JP2012040384A
Authority: JP
Inventors: 正人小竹; ▲イ▼ 鄭
Original assignee: Daikin Industries Ltd
Current assignee: Daikin Industries Ltd
Priority date: 2012-02-27
Filing date: 2012-02-27
Publication date: 2016-06-01
Anticipated expiration: 2032-02-27
Also published as: JP2013174409A

Description

本発明は、ヒートポンプ式給湯機に関し、特に、上位のエネルギー管理装置からのデマンドに基づいて給湯または暖房に使用される温水をヒートポンプにより加熱するヒートポンプ式給湯機に関する。

ヒートポンプ式給湯機は、たとえば、熱源ユニット内の熱交換器によって加熱された温水を貯湯タンクに貯めるように構成される。現状の電力料金は、夜間の電力料金が昼間に比べて安く設定されているため、貯湯タンクを備えたヒートポンプ式給湯機では、夜間に温水の沸き上げ運転を行って貯湯タンクに貯めておくことが一般的である。

この場合、夜間において沸かした温水を昼間に使い切って、再び夜間において沸き上げて貯めておくことが好ましい。

ところが、使用する湯量は日によって相違して一定ではないことから、夜間に貯めておいた湯量では不足して、昼間に沸き上げ運転を追加的に行うこととなる。通常、貯湯タンク内の残湯熱量から、湯量が不足するか否かを判断し、追加的な沸き上げ運転を行っていることから、効率的ではない場合が生じる。たとえば、平日に比べて週末の使用湯量が多いユーザでは、週末の残湯熱量が少なくなっており、これから次回の追加的な沸き上げ運転の計画を立てると、昼間の比較的電力料金の高い時間帯に追加的な沸き上げ運転を行うことになり、ランニングコストが上昇してしまう。

この点を解消するために、ユーザの過去の使用湯量に基づいて運転状況を学習し、ユーザの使用状況に応じた運転計画を立案するようにしたヒートポンプ式給湯機が提案されている（特許文献１：特開２００４−１３２６２８号公報）。

最近では、電力需用者に供給される電力エネルギーを、電力会社、または電力会社と需用者との間を仲介するアグリゲータと呼ばれる事業者によって管理し、季節や時間帯、天候、その他の条件に応じた消費電力の抑制や効率的な電力利用を促進するシステムが提案されている。

例えば、電力需要が大きくなる季節や時間帯に、電力供給量が需要を下回ることがないように、需用者に対して電力利用を抑制するようなデマンドを送信して、需用者側の機器の運転制御を行う。

また、電力供給側において風力発電や太陽光発電が増えると、天候変化により発電量が増減することになる。総発電量と総消費電力量とが一致しない場合、電力系統の周波数が変化し、電力系統に障害が発生する。

このため、エネルギー管理者側から通信回線を介して電力需用者側の各機器に対して、消費電力の抑制や効率的な電力利用が促進するためのデマンドを送信して各機器の運転制御を行う。

さらに、夜間と昼間などの時間帯別料金の設定がさらに細分化されて、時間別に料金を変化させるリアルタイムプライシングの料金体系についても実用化されつつある。

前述したようにユーザの使用状況に対応した運転計画を立案して実行するようにしたヒートポンプ式給湯機において、エネルギー管理者側からのデマンドに対応すると、ユーザの使用状況に沿った運転ができない場合が生じる。たとえば、運転計画において沸き上げ運転を予定している時間帯に、エネルギー管理者側から消費電力量を減少させる旨のデマンドを受けた場合には、貯湯タンク内の温水の熱量を十分に確保できずに湯切れを生じるおそれがある。また、運転計画に沿って沸き上げ運転を実行した直後に、エネルギー管理者側から消費電力量を増加させる旨のデマンドを受けた場合には、貯湯タンク内の温水の熱量が最大になっていることからデマンドに対応できないという問題がある。

本発明の目的は、上位のエネルギー管理装置からのデマンドに対応できるように、給湯機側において運転計画の立案が可能となるようにしたヒートポンプ式給湯機を提供することである。

第１の発明に係るヒートポンプ式給湯機は、上位のエネルギー管理装置から送信されるエネルギー消費に関するデマンドに対応して運転制御を行うヒートポンプ式給湯機であって、デマンド受信部と、デマンド情報記憶部と、運転計画立案部とを含む。デマンド受信部は、上位のエネルギー管理装置からのデマンドを受信する。デマンド情報記憶部は、デマンドの種別、デマンドの時間長さ、及びデマンドを受信したタイミングにおける環境情報を含むデマンド情報を蓄積する。運転計画立案部は、デマンド情報記憶部に蓄積されたデマンド情報に基づいて、現在時刻から所定時間後までに上位のエネルギー管理装置が送信するデマンドの種別と時間長さを予測し、運転制御計画を立案する。

本発明に係るヒートポンプ式給湯機では、上位のエネルギー管理装置が送信されるデマンドに基づいて、そのデマンドの種別、時間長さ及びそのタイミングにおける環境情報などを含むデマンド情報を蓄積し、上位のエネルギー管理装置から今後送信されるデマンドを予測して運転計画を立案する。

環境情報として、デマンドを受信した時間帯、曜日、季節、天候、気温のうち少なくとも１つを含むことができる。この場合、時間帯、曜日、季節、天候、気温などの要素に応じて、上位のエネルギー管理装置から送信されるデマンドを予測することができ、予測されるデマンドに応じた運転計画を立案することができる。

また、デマンドの種別は、ヒートポンプの運転制御に対するデマンドレベルとすることができる。たとえば、消費電力に関して抑制なし、０〜３０％の抑制あり、３０〜７０％の抑制あり、７０〜１００％の抑制ありなどのデマンドの種別に対して、その時間長さと環境情報とを関連付けて、デマンド情報記憶部に蓄積しておくことができる。

上位のエネルギー管理装置から送信されるデマンドに基づいて、デマンド情報を蓄積することにより、ヒートポンプ式給湯機側でデマンド送信タイミングの傾向を予測することができ、送信されるデマンドに柔軟に対応できるような運転計画を立案することができる。

デマンド情報記憶部に蓄積されるデマンド情報として、曜日、季節、天候、気温のうち少なくとも１つを含む環境情報とを対応付けることにより、上位のエネルギー管理装置からデマンドが送信されるタイミングを予測することが容易になり、無理のない運転計画を立案することができる。

図１は、ヒートポンプ式給湯機の運転制御を行う管理システムの全体構成を示す模式図である。図２は、上位エネルギー管理装置の構成を示すブロック図である。図３は、ヒートポンプ式給湯機の構成を示す模式図である。図４は、ヒートポンプ式給湯機の制御部の構成を示すブロック図である。図５は、デマンド情報の予測処理のフローチャートである。

図を参照しながら本発明に係るヒートポンプ式給湯機の一実施形態について説明する。

（１）エネルギー管理システム
図１は、本発明のヒートポンプ式給湯機の運転制御を行う管理システムの全体構成を示す模式図である。

図示した例では、電力会社１から需用者２（需用者Ａ，Ｂ）に提供されるエネルギーが管理される。図１に示すように、電力会社１は、上位エネルギー管理装置１０（上位エネルギー管理装置の一例）を有し、需用者２はそれぞれヒートポンプ式給湯機２０を有する。

需用者２は、一般家庭、またはオフィスビル、テナントビル、工場などの設備機器を備える物件である。

電力会社１の上位エネルギー管理装置１０及び需用者２のヒートポンプ式給湯機２０は、インターネットなどの通信ネットワーク３を介して接続可能となっている。

（２）上位エネルギー管理装置１０
図２は、上位エネルギー管理装置１０の構成を示すブロック図である。

上位エネルギー管理装置１０は、電力会社１に設置され、インターネットなどの通信ネットワーク３を介して、需用者２のヒートポンプ式給湯機２０に接続されている。

この例では、需用者２は、需用者Ａ及び需要者Ｂの２つの物件のみについて図示しているが、これに限定されるものではなく、２以上の物件について管理するように構成できる。

上位エネルギー管理装置１０は、通信部１０１、記憶部１０２、制御部１０３を備えている。

通信部１０１は、上位エネルギー管理装置１０を通信ネットワーク３に接続可能にするインターフェイスである。

記憶部１０２は、主として、ハードディスクドライブなどの記憶装置で構成されており、上位エネルギー管理装置１０の機能を実行するためのプログラムを格納している。

また、記憶部１０２は、管理物件記憶領域１０２ａ、物件情報記憶領域１０２ｂを備えている。

管理物件記憶領域１０２ａには、電力会社１の管理対象である需用者２に関する情報が記憶されている。具体的には、需用者２の識別情報、ヒートポンプ式給湯機２０の識別情報、機器の基本情報などが格納されている。

物件情報記憶領域１０２ｂには、需用者２のヒートポンプ式給湯機２０から送られたエネルギー消費量に関する情報が記憶されている。エネルギー消費量に関する情報は、ヒートポンプ式給湯機２０において所定期間に実際に消費されたエネルギー量の実績値に関する情報である。

制御部１０３は、主として、ＣＰＵ、ＲＯＭ、及びＲＡＭで構成されている。制御部１０３は、記憶部１０２に記憶されている上位エネルギー管理装置のプログラムを読み出して実行する。

制御部１０３は、情報収集部１０３ａ及びデマンド送信部１０３ｂを有している。情報収集部１０３ａ及びデマンド送信部１０３ｂは、制御部１０３が上位エネルギー管理装置のプログラムを実行することによって、制御部１０３に形成される機能部である。

情報収集部１０３ａは、電力会社１が有するエネルギー系統におけるエネルギーの需要と供給とを調整するために、エネルギーの需要・供給に関する情報を収集する。

デマンド送信部１０３ｂは、需用者２のヒートポンプ式給湯機２０に対して消費量の要求を行うためのデマンドを送信する。たとえば、エネルギーの需要が供給を上回りそうな時間帯では、デマンド送信部１３０ｂは、エネルギーの消費抑制を需要者に要求するためのデマンドを送信する。逆に、エネルギー供給が需要を上回りそうな時間帯では、デマンド送信部１０３ｂは、エネルギーの消費促進を需用者に要求するためのデマンドを送信する。

デマンド送信部１０３ｂは、このような需用者に対するエネルギー消費に関する要求を時間帯別（例えば、１分毎）にエネルギー消費要求値として決定し、需用者２のヒートポンプ式給湯機２０に送信する。

この上位エネルギー管理装置１０は、電力会社１に設置されるサーバコンピュータで構成することができる。

また、電力会社１と複数の需要者２との間を仲介するアグリゲータと呼ばれる事業者が、上位エネルギー管理装置１０を管理するように構成することもできる。アグリゲータは、複数の需用者をとりまとめて、各需用者に代わって電力会社との間でエネルギー消費の調整を仲介する事業者である。

上位エネルギー管理装置１０から送信されるデマンドには、各ヒートポンプ式給湯機２０の識別情報（ＩＤ）、時間帯別の要求値、インセンティブとしての報酬金または罰金に関する情報を含むデータである。

また、上位エネルギー管理装置１０は、各ヒートポンプ式給湯機２０から、時間帯別のエネルギー消費の計画値及び実際のエネルギー消費の実績値を受信する。

（３）ヒートポンプ式給湯機２０
図３は、ヒートポンプ式給湯機２０の構成を模式的に示した図である。

図示したヒートポンプ式給湯機２０は、給湯の他に、居室の暖房か可能な暖房給湯装置である。

ヒートポンプ式給湯機２０は、ヒートポンプユニット２１、貯湯タンク２２、給湯配管２３、暖房用循環回路２４、制御部２７を備えている。

ヒートポンプユニット２１は、冷媒回路３５を有しており、貯湯タンク２２から送られてくる水を沸き上げて温水にする。冷媒回路３５は、主として、圧縮機３２と、熱交換路を構成する水熱交換器３３と、減圧機構としての電動膨張弁３４と、空気熱交換器３１とを順に接続して構成される。水熱交換器３３は、貯湯タンク２２側から引き込まれる配管との間で、熱交換を行い、貯湯タンク２２に貯えられる温水の沸き上げを行う。空気熱交換器３１には、空気熱交換機３１の熱交換機能を調整するためのファン３６が付設されている。

貯湯タンク２２は、ヒートポンプユニット２１で加熱された温水を貯える。貯湯タンク２２の内側には、図示しないセンサ類が設置されており、貯湯タンク２２内の温水の温度や水位などを感知して、制御部２７に送信する。

貯湯タンク２２は、沸き上げ用循環回路２５を介してヒートポンプユニット２１と接続されている。沸き上げ用循環回路２５は貯湯タンク２２に貯えられた温水のうち、下部にある比較的低温になった温水を水熱交換器３３に通して、貯湯タンク２２に戻す。

給湯配管２３は、水が供給される給水配管から分岐し、貯湯タンク２２内に設けられた給湯用熱交換器３７に引き込まれており、給水配管から供給される水道水を給湯用熱交換器３７により貯湯タンク２２内の温水と熱交換させて、家庭のキッチン、浴槽、シャワーなどに温水を供給する配管である。

暖房用循環回路２４は、貯湯タンク２２内に貯められた温水を、建物の床などに設置された複数のラジエータ２６を経由させた後、再び、貯湯タンク２２内に戻して循環させる。複数のラジエータ２６は、建物の居室内に設置された放熱器として機能し、設置された居室内の暖房器具として利用される。

制御部２７は、ヒートポンプ式給湯機２０の圧縮機３２及びファン３６などの水熱交換の構成要素を制御する。制御部２７は、たとえば、貯湯タンク２２内の温水の温度が所定の温度を下回った場合に、所定の温度に上昇するまで沸き上げ運転を開始する。沸き上げ運転では、貯湯タンク２２内の温水を沸き上げ循環回路２５を介してヒートポンプユニット２１に流し、水熱交換器３３を通して温水に加熱して貯湯タンク２２に戻す。

また、制御部２７は、ユーザがリモコンを操作することにより入力される情報に基づいて、ヒートポンプ式給湯機２０の運転制御を行う。また、所定のアルゴリズムに沿って立案した運転計画に基づいてヒートポンプ給湯機２０の各構成要素の制御を行う。運転計画は、ユーザがリモコンを介して入力する情報に基づいて設定が行われる他、制御部２７によるヒートポンプ式給湯機２０の日々の運転実績を学習することによって作成される。さらに、制御部２７は、上位エネルギー管理装置１０から送信されるデマンドに基づいてヒートポンプ式給湯機２０の運転制御を行う。

図４は、ヒートポンプ式給湯機２０の制御部２７の構成を示すブロック図である。

制御部２７は、主に、通信部２０１、記憶部２０２、運転計画立案部２０３、デマンド受信部２０４、環境情報収集部２０５、運転制御部２０６を備えている。

通信部２０１は、インターネット等の通信ネットワーク３との接続を行うインターフェイスである。

記憶部２０２は、運転実績記憶領域２０２ａ、デマンド情報記憶領域２０２ｂを備えている。

運転実績記憶領域２０２ａは、ヒートポンプ式給湯機２０の運転実績に関する情報が記憶されている。運転実績に関する情報としては、例えば時間帯別のエネルギー消費実績値が含まれる。

デマンド情報記憶領域２０２ｂには、上位エネルギー管理装置１０から送信されてきたデマンドの種別、デマンドの時間長さ、及びデマンドを受信したタイミングにおける環境情報を関連付けたデマンド情報が記憶される。たとえば、制御部２７は、上位エネルギー管理装置１０からデマンドを受信したタイミングにおける季節、曜日、時刻、天候、気温などの環境情報を収集する。制御部２７は、受信したデマンドが、消費電力に関して運転抑制なし、０〜３０％の運転抑制あり、３０〜７０％の運転抑制あり、７０〜１００％の運転抑制ありなどのデマンド種別に分類し、収集した環境情報とともにデマンド情報としてデマンド情報記憶部２０２ｂに記憶する。

運転計画立案部２０３は、運転実績記憶領域２０２ａに記憶されている運転実績に関する情報に基づいて、ヒートポンプ式給湯機２０の運転状況を学習し、これに基づいて運転計画を立案する。

また、運転計画立案部２０３は、デマンド情報記憶領域２０２ｂに記憶されたデマンド情報に基づいて、上位エネルギー管理装置１０からデマンドが送信されるタイミングを予測し、これに基づいて運転計画を立案する。

運転計画立案部２０３は、ユーザが設定したスケジュールが存在する場合には、当該スケジュールに基づいて運転計画を立案する。設定されたスケジュールや運転実績に関する情報、及びデマンド情報が存在しない場合には、運転計画立案部２０３は予め初期設定されている計画を運転計画とする。たとえば、運転計画立案部２０３は、エネルギー単価が比較的安い夜間の時間帯に、エネルギー消費が多く行われるように、運転計画を立案する。

デマンド受信部２０４は、上位エネルギー管理装置１０から送信されるデマンドを受信して、受信したタイミングにおける環境情報とともにデマンド情報記憶領域２０６ｂに記憶する。

環境情報収集部２０５は、現在の季節、曜日、時刻、天候、気温などの情報を収集するものであり、ＣＰＵ内に備えるクロック及びカレンダーから季節、曜日、時刻などの時間に関するデータ収集し、通信ネットワーク３を介して天候及び気温データを収集する。気温データについては、ヒートポンプ式給湯機２０に設けられているセンサから収集することも可能である。

運転制御部２０６は、運転計画立案部２０３によって立案された運転計画に基づいて、ヒートポンプ式給湯機２０の運転制御を実行する。

（４）デマンド情報の予測と運転制御
図５は、デマンド情報の予測処理に関するフローチャートである。

運転計画立案部２０３は、デマンド情報記憶領域２０２ｂに記憶されているデマンド情報に基づいて、上位エネルギー管理装置１０から送信されてくるデマンドを学習する。デマンドの学習方法としては、周知のＱ学習（Ｑ−ｌｅａｒｎｉｎｇ）を利用することができる。

Ｑ学習では、エージェントの現在の状態をｓとし、この状態でエージェントが可能な行動をａとした時、Ｑ（ｓ，ａ）の値を元に行動を決定するものとする。

このときのＱ値は、次の数式で表すことができる。

ここで、αは学習率であり、ｒは報酬である。

たとえば、現在の状態ｓとして、時刻：ｓ₁＝［深夜、早朝、午前、昼、夕方、夜］、曜日：ｓ₂＝［平日、休日］、天気：ｓ₃＝［晴れ、曇り、雨］、季節：ｓ₄＝［１〜３月、４〜６月、７〜９月、１０〜１２月］を設定するものとする。

また、行動ａとして、デマンド種別：ａ＝［抑制なし、０〜３０％抑制、３０〜７０％抑制、７０〜１００％抑制］を設定するものとする。

学習率α＝０．１とし、予測正解時の報酬ｒ＝１、予測失敗時の報酬ｒ＝０として、全てのＱ（ｓ₁，ｓ₂，ｓ₃，ｓ₄，ａ）の値を、デマンド情報に基づいて求める。

具体的には、図５のステップＳ１０１において、運転計画立案部２０３は、全てのＱ（ｓ₁，ｓ₂，ｓ₃，ｓ₄，ａ）の値を初期値である’１’に設定する。

ステップＳ１０２において、デマンド受信部２０４が上位エネルギー管理装置１０からのデマンドを受信した場合、環境情報収集部２０５により収集した環境情報と、受信したデマンド種別をデマンド情報記憶領域２０２ｂに記憶する。

ステップＳ１０３において、運転計画立案部２０３は、デマンド情報記憶領域２０２ｂに記憶されたデマンド情報に基づいて、Ｑ（ｓ₁，ｓ₂，ｓ₃，ｓ₄，ａ）の値を更新する。

運転計画立案部２０３は、前述した式１に基づいて、その時のｓ₁〜ｓ₄を満たすＱ（ｓ₁，ｓ₂，ｓ₃，ｓ₄，ａ）の値を更新する。

例えば、８月の水曜日午後２時であり、天候が晴れである場合には、現在の状態として、時刻：ｓ₁＝「昼」、曜日：ｓ₂＝「平日」、天気：ｓ₃＝「晴れ」、ｓ₄＝「７〜９月」である。

この場合、Ｑ（昼、平日、晴れ、７〜９月、抑制なし）、Ｑ（昼、平日、晴れ、７〜９月、０〜３０％抑制）、Ｑ（昼、平日、晴れ、７〜９月、３０〜７０％抑制）、Ｑ（昼、平日、晴れ、７〜９月、７０〜１００％抑制）のそれぞれについて、前述の式１を適用してＱ値を更新する。

たとえば、各Ｑ値が初期値１であり、デマンド受信部２０４が受信したデマンド種別ａが「０〜３０％抑制」である場合には、Ｑ（昼、平日、晴れ、７〜９月、抑制なし）＝（１−０．１）×１＋０．１×０＝０．９、Ｑ（昼、平日、晴れ、７〜９月、０〜３０％抑制）＝（１−０．９）×１＋０．１×１＝１、Ｑ（昼、平日、晴れ、７〜９月、３０〜７０％抑制）＝（１−０．１）×１＋０．１×０＝０．９、Ｑ（昼、平日、晴れ、７〜９月、７０〜１００％抑制）＝（１−０．１）×１＋０．１×０＝０．９となる。

運転計画立案部２０３は、デマンド情報記憶領域２０２ｂに記憶されたデマンド情報に基づいて、現在の状態とコマンド種別に対応する各Ｑ値を算出して更新する。

運転計画立案部２０３は、所定時間後までの状態についての情報を収集し、更新したＱ値を用いて、上位エネルギー管理装置１０から送信されてくるデマンド種別を予測する。

現在の状態ｓ₁〜ｓ₄において、所定の行動であるデマンドａ^*が送信されてくる確率を、Ｐ（ｓ₁，ｓ₂，ｓ₃，ｓ₄，ａ^*）とすると、この確率Ｐは以下の式２で表すことができる。

たとえば、デマンド情報記憶領域２０２ｂに記憶されたデマンド情報に基づいて更新された各Ｑ値が、Ｑ（昼、平日、晴れ、７〜９月、抑制なし）＝０．５、Ｑ（昼、平日、晴れ、７〜９月、０〜３０％抑制）＝０．８、Ｑ（昼、平日、晴れ、７〜９月、３０〜７０％抑制）＝０．１、Ｑ（昼、平日、晴れ、７〜９月、７０〜１００％抑制）＝０．０１であるとする。

８月の水曜日午後２時であり、天候が晴れの場合に、上位エネルギー管理装置１０から送信されるデマンドが「抑制なし」である確率Ｐは、０．５／（０．５＋０．８＋０．１＋０．０１）×１００＝３５．４％となる。

本実施形態ではＱ学習を例に説明したがＱ学習に限定されるものではなく、回帰分析やベイズ推定、主成分分析などの手法によってデマンド情報の予測をしてもよい。

天候情報は、たとえば、環境情報収集部２０５が通信ネットワーク３を介して得られる情報から、予測に必要となる所定時間後の天候情報を得るように構成できる。また、ヒートポンプ式給湯機２０に温度センサや湿度センサなどを備える場合には、これらセンサから得られる情報に基づいて、天候情報を判別するように構成することもできる。

ステップＳ１０５において、運転制御部２０６が、運転計画立案部２０３で立案された運転計画に沿ってヒートポンプ式給湯機２０の運転制御を実施する。

このようにした本実施形態によれば、ヒートポンプ式給湯機２０において、上位エネルギー管理装置１０からどのようなタイミングでデマンドが送信されるのかを学習して、現在の環境情報に対応して送信されてくるデマンドを予測することが可能となる。したがって、ヒートポンプ式給湯機２０側において、上位エネルギー管理装置１０から送信されてくるデマンドに対応しつつ、ユーザの需要に対応した運転計画を立案することが可能となる。

本発明は、上位のエネルギー管理装置から送信されるエネルギー消費推奨値又はエネルギー価格に関する情報である供給側提供情報を受信して運転制御するヒートポンプ式給湯機に適用することができる。

特開２００４−１３２６２８号公報

Claims

上位のエネルギー管理装置から送信されるエネルギー消費に関するデマンドに対応して運転制御を行うヒートポンプ式給湯機であって、
前記上位のエネルギー管理装置からのデマンドを受信するデマンド受信部と、
前記デマンドの種別、前記デマンドの時間長さ、及び前記デマンドを受信したタイミングにおける環境情報を含むデマンド情報を蓄積するデマンド情報記憶部と、
前記デマンド情報記憶部に蓄積されたデマンド情報に基づいて、現在時刻から所定時間後までに前記上位のエネルギー管理装置が送信するデマンドの種別と時間長さを予測し、運転制御計画を立案する運転計画立案部と、
を備えるヒートポンプ式給湯機。
前記環境情報は、デマンドを受信した時間帯、曜日、季節、天候、気温のうち少なくとも１つを含む、請求項１に記載のヒートポンプ給湯機。
前記デマンドの種別は、前記ヒートポンプの運転制御に対するデマンドレベルである、請求項１または２に記載のヒートポンプ給湯機。
前記運転計画立案部は、

で規定されるＱ値を算出し、ここでｓは前記環境情報であり、ａは前記デマンドの種別であり、αは学習率であり、ｒは報酬であり、
前記運転計画立案部は、前記デマンドの種別ａの各々に対応するＱ値を更新し、
前記運転計画立案部は、

で規定される確率値Ｐを算出し、ここでａ*は所定のデマンドであり、前記確率値Ｐは前記所定のデマンドａ*が送信されてくる確率を意味し、
前記運転計画立案部は、各確率値Ｐに基づいて前記デマンドの種別ａを予測する、
請求項１〜３のいずれか１つに記載のヒートポンプ給湯機。