JP6262065B2 - 制御装置、制御システム、及び制御方法 - Google Patents

Description

本発明は、制御装置、制御システム、及び制御方法に関する。

近年、電力需要家ごとに設けられるエネルギー管理装置（ＥＭＳ：Ｅｎｅｒｇｙ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ）によって、電力需要家に設けられる負荷機器や電力需要家に設けられる分散電源などを制御する技術が知られている。分散電源として再生可能エネルギーを用いる場合は電源出力の変動幅が大きいため、蓄電装置と組み合わせることが考えられ、その際、特許文献１に開示されるように蓄電量を制御しながら使用されることも考えられる。

特開２０００−２６１９８０号公報

上記のような構成では蓄電量の制御に様々な変動要因が関係するため、それらの要因を考慮した蓄電装置の制御技術が望まれる。

そこで本発明は上述の点を鑑みてなされたものであり、より高精度な蓄電装置の制御を可能とする制御装置、制御システム、及び制御方法を提供することを目的とする。

本発明に係る制御装置は、商用電力系統に連系される蓄電装置を制御する制御装置であって、前記蓄電装置の蓄電残量を制御するための制御パラメータを格納する記憶部と、前記制御パラメータに基づいて前記蓄電残量を制御し、該制御結果に基づいて前記記憶部に格納されている前記制御パラメータを学習する制御部とを備え、前記制御パラメータは、前記蓄電残量に重み付けをする重み付け値と、制御開始時点における前記蓄電残量である初期蓄電残量と、指定期間にわたる前記蓄電残量の制御に係る蓄電残量下限目標値との関係を示す評価値とを含み、前記制御部は、前記制御結果に基づいて前記重み付け値を更新し、前記指定期間にわたる制御の終了時点における前記蓄電残量である到達蓄電残量と前記重み付け値とに基づいて前記評価値を更新する。

本発明に係る制御装置において、制御部は、初期蓄電残量と制御パラメータとに基づいて蓄電残量下限目標値を設定し、蓄電残量が蓄電残量下限目標値に対して所定の閾値内となるように制御してもよい。

本発明に係る制御装置において、評価値は、初期蓄電残量がとりうる値の範囲を任意の階級に区分してなる初期蓄電残量区分に対応する第１インデックスと、蓄電残量下限目標値がとりうる値の範囲を任意の階級に区分してなる蓄電残量下限目標値区分に対応する第２インデックスとを有する二次元配列の要素として表されてもよい。

本発明に係る制御装置において、制御部は、現在の初期蓄電残量に対応する第１インデックスの値とあらゆる第２インデックスの値との組み合わせにより指定される二次元配列の要素の集合である評価値群の中で最大値をとる唯一の評価値を決められる場合には、該評価値に対応する二次元配列の要素に係る第２インデックスの値に対応する蓄電残量下限目標値区分の代表値を蓄電残量下限目標値として設定することができ、評価値群の中で複数の評価値が同じ値であって最大値をとる唯一の評価値を決められない場合には、重み付け値に基づいて蓄電残量下限目標値区分を決定し蓄電残量下限目標値区分の代表値を蓄電残量下限目標値として設定することができる。

本発明に係る制御装置において、制御部は、重み付け値と到達蓄電残量とを用いて制御結果の良否を判断するための報酬値を決定し、報酬値が基準値以下であった場合には、現在の初期蓄電残量に対応する第１インデックスの値と現在の蓄電残量下限目標値に対応する第２インデックスの値との組み合わせにより指定される二次元配列の要素である報酬値設定対象要素に基準値を設定し、報酬値が基準値を超える値であった場合には、報酬値設定対象要素に報酬値を設定する。評価値に対応する二次元配列の全要素の初期値は、基準値に等しく設定されてもよい。

本発明に係る制御装置において、制御部は、評価値群の中で同じ値となる複数の評価値に対応する二次元配列の複数の要素に係る第２インデックスの値の集合を決定し、
Ａ＝Ａ_min＋ＩＮＴ｛（Ｗ−Ｗ_min）／（Ｗ_max−Ｗ_min）×（Ａ_num−１）｝
Ａ：蓄電残量下限目標値区分に対応する第２インデックスの値
Ａ_min：第２インデックスの値の集合の中の最小値
ＩＮＴ｛｝：引数を四捨五入して整数化する関数
Ｗ：現在の重み付け値
Ｗ_min：重み付け値がとりうる値の最小値
Ｗ_max：重み付け値がとりうる値の最大値
Ａ_num：第２インデックスの値の集合の要素数
に基づいて第２インデックスの値を計算し、計算した第２インデックスの値に基づいて蓄電残量下限目標値区分を決定することができる。

本発明に係る制御装置において、制御部は、
Ｒ＝Ｂ×Ｗ＋（Ｂ_max−Ｂ）×（Ｗ_max＋Ｗ_min−Ｗ）
Ｒ：報酬値
Ｂ：到達蓄電残量
Ｂ_max：蓄電容量
Ｗ：現在の重み付け値
Ｗ_min：重み付け値がとりうる値の最小値
Ｗ_max：重み付け値がとりうる値の最大値
に基づいて報酬値を計算することができる。

本発明に係る制御装置において、基準値は、重み付け値を重み付け値がとりうる値の範囲の中央値に等しいものとした場合に決定される報酬値であってもよい。

本発明に係る制御装置において、制御部は、到達蓄電残量が蓄電残量下限目標値を所定の閾値を超えて下回った場合、又は電気料金最大期間における系統への逆潮流電力量が所定の値を下回った場合に、重み付け値を大きい値に変化させるように更新してもよい。また、発電装置の発電電力が需要家設備の総消費電力量を上回る、若しくは電力単価が所定の値を下回り、かつ蓄電装置の空き容量が所定の値を下回った場合に、重み付け値を小さい値に変化させるように更新してもよい。

本発明に係る制御システムは、商用電力系統に連系される蓄電装置を制御する制御装置を備える制御システムであって、前記制御装置は、前記蓄電装置の蓄電残量を制御するための制御パラメータを格納する記憶部と、前記制御パラメータに基づいて前記蓄電残量を制御し、該制御結果に基づいて前記記憶部に格納されている前記制御パラメータを学習する制御部とを備え、前記制御パラメータは、前記蓄電残量に重み付けをする重み付け値と、制御開始時点における前記蓄電残量である初期蓄電残量と、指定期間にわたる前記蓄電残量の制御に係る蓄電残量下限目標値との関係を示す評価値とを含み、前記制御部は、前記制御結果に基づいて前記重み付け値を更新し、前記指定期間にわたる制御の終了時点における前記蓄電残量である到達蓄電残量と前記重み付け値とに基づいて前記評価値を更新する。

本発明に係る制御方法は、商用電力系統に連系される蓄電装置を制御する制御装置における制御方法であって、制御パラメータに基づいて蓄電残量を制御するステップと、該制御結果に基づいて前記制御パラメータを学習するステップとを含み、前記制御パラメータは、前記蓄電残量に重み付けをする重み付け値と、制御開始時点における前記蓄電残量である初期蓄電残量と、指定期間にわたる前記蓄電残量の制御に係る蓄電残量下限目標値との関係を示す評価値とを含み、前記制御するステップは、前記初期蓄電残量を取得するステップと、前記蓄電残量下限目標値を設定するステップと、を含み、前記学習するステップは、前記指定期間にわたる制御の終了時点における前記蓄電残量である到達蓄電残量を取得するステップと、前記制御結果に基づいて前記重み付け値を更新するステップと、前記到達蓄電残量と前記重み付け値とに基づいて前記評価値を更新するステップとを含む。

本発明によれば、より高精度な蓄電装置の制御が可能となる。

本発明に係る制御システムの概略構成を示したブロック図である。 本発明に係る制御装置の構成及びデータの流れを示す図である。 制御部の動作を示すフローチャートである。 評価値配列を示す図である。 変形例における評価値配列の初期値を示す図である。 重み付け値が０．８のときに評価値が収束した例を示す図である。 重み付け値が０．２のときに評価値が収束した例を示す図である。 重み付け値が０．５のときに評価値が収束した例を示す図である。 評価値の上書きルールを変更した場合の評価値配列を示す図である。

以下、本発明に係る実施形態について、図面を参照しながら詳細に説明する。

図１は、本発明に係る制御システムの概略構成を示したブロック図である。制御システム１００は、制御装置１１０、パワーコンディショナ１２０、太陽光発電システム１２２、燃料電池装置１２４、蓄電装置１２６、分電盤１２８、負荷機器１３０、及びスマートメータ１３２を備える。制御装置１１０は制御部１１３及び記憶部１１４を備え、通信装置１１２及び制御システムを構成する各機器と接続され通信することができる。分電盤１２８は、スマートメータ１３２を介して商用電力系統１５０に接続され、パワーコンディショナ１２０と燃料電池装置１２４と負荷機器１３０とに接続される。パワーコンディショナ１２０は、太陽光発電システム１２２と蓄電装置１２６とに接続される。スマートメータ１３２は系統ＥＭＳ１６０に接続される。制御装置１１０は、ネットワーク１７０を介して系統ＥＭＳ１６０にも接続される。

図１において、各機能ブロックを結ぶ実線は、電力の流れを表す。また、図１において、各機能ブロックを結ぶ破線は、制御信号または通信される情報の流れを表す。当該破線が示す通信は有線通信としてもよいし、無線通信としてもよい。

制御システム１００は、商用電力系統１５０から供給される電力の他、太陽光発電システム１２２又は燃料電池装置１２４が発電する電力、蓄電装置１２６に充電された電力のうち放電された電力を、負荷機器１３０に供給可能である。

制御装置１１０は、制御システム１００における各機器の電力を制御する。制御装置１１０は、系統ＥＭＳ１６０から電力に関する情報を受信することができる。制御装置１１０の構成についての詳細は後述する。通信装置１１２は、制御装置１１０が送信する情報、例えば、作成する消費電力の履歴を示すグラフ画像を表示する。

スマートメータ１３２は、商用電力系統１５０に接続されて、商用電力系統１５０からの供給電力及び商用電力系統１５０への逆潮流電力を計測する。スマートメータ１３２は、計測した電力を、制御装置１１０に通知可能である。

また、スマートメータ１３２は、系統ＥＭＳ１６０から、例えば電力に関する予測などの情報を受信可能である。ここで、系統ＥＭＳ１６０は、電力に関する各種の予測および制御などを行う設備であり、一般的には、例えば電力会社などに設置される。系統ＥＭＳ１６０は、例えばＭＤＭＳ（メータデータマネジメントシステム）を構成するものを採用可能である。この系統ＥＭＳ１６０は、各種の電力に関する情報を記憶する記憶媒体１６１を有しており、スマートメータ１３２が計測した結果の情報を収集して蓄積することもできる。また、系統ＥＭＳ１６０は、インターネットなどの外部ネットワーク１７０に接続可能である。

パワーコンディショナ１２０は、太陽光発電システム１２２および蓄電装置１２６から供給される直流の電力を、交流の電力に変換する。パワーコンディショナ１２０は、変換した交流の電力を、分電盤１２８で複数に分岐した支幹を介して各負荷機器１３０に供給する。また、パワーコンディショナ１２０は、太陽光発電システム１２２が発電した電力に余剰がある場合には、変換した交流の電力を、分電盤１２８及びスマートメータ１３２を介して商用電力系統１５０へ逆潮流することもできる。また、パワーコンディショナ１２０は、商用電力系統１５０から供給される交流の電力を、蓄電装置１２６に充電するための直流の電力に変換可能である。

太陽光発電システム１２２は、太陽光を利用して発電する。このため、太陽光発電システム１２２は、太陽電池を備えており、太陽光のエネルギーを直流の電力に変換する。本実施形態において、太陽光発電システム１２２は、例えば家の屋根などにソーラパネルを設置して、太陽光を利用して発電するような態様を想定している。しかしながら、太陽光発電システム１２２は、太陽光のエネルギーを電力に変換できるものであれば、任意のものを採用することができる。

太陽光発電システム１２２が発電する電力は、上述したように、パワーコンディショナ１２０によって交流に変換されてから、各負荷機器１３０へ供給、および／または、商用電力系統１５０へ逆潮流可能である。また、太陽光発電システム１２２が発電した電力により、蓄電装置１２６が充電可能であってもよい。

また太陽光発電システム１２２は、発電電力値を、太陽光発電システム１２２が備えるセンサにより計測し、計測した発電電力値を、制御装置１１０に送信する。

蓄電装置１２６は、蓄電池を備えており、この蓄電池に充放電することが可能である。図１に示すように、蓄電装置１２６から放電される電力は、パワーコンディショナ１２０によって交流に変換されてから、各負荷機器１３０へ供給、および／または、商用電力系統１５０へ逆潮流可能である。蓄電装置１２６から放電される電力を各負荷機器１３０に供給する場合、商用電力系統１５０から供給される電力から切り替える。また、蓄電装置１２６は、商用電力系統１５０または太陽光発電システム１２２等から供給される電力を充電可能である。

また蓄電装置１２６は、放電電力値又は充電電力値を蓄電装置１２６が備えるセンサにより計測し、計測した放電電力値又は充電電力値を、制御装置１１０に送信する。

分電盤１２８は、供給される電力を複数の支幹に分岐させて各負荷機器１３０に分配する。また分電盤１２８は、燃料電池装置１２４から供給される電力を、複数の支幹に分岐させて各負荷機器１３０に分配する。ここで、各支幹には、消費電力の大きい代表的な負荷機器が直接接続されるものと、部屋ごとにまとめられたものとがある。前者における負荷機器は、例えばエアコン、冷蔵庫、ＩＨクッキングヒータなどである。後者における負荷機器は、各部屋にいくつか設けられているコンセントに接続される負荷機器であり、どのような負荷機器がコンセントに接続されるかは不定である。

図１において、制御システム１００に接続される負荷機器１３０は、任意の数とすることができる。これらの負荷機器１３０は、例えば、テレビ、エアコン、冷蔵庫など、種々の電化製品である。これらの負荷機器１３０は分電盤１２８を介してパワーコンディショナ１２０に接続されて、電力が供給される。

図２Ａは、本発明に係る制御装置１１０の構成及びデータの流れを示す図である。矢印がデータの流れを示している。記憶部１１４には、蓄電装置の蓄電残量を制御するための制御パラメータが格納される。図２Ｂは、本実施形態における制御部１１３の動作を示すフローチャートである。図２Ｂのフローチャートの各項目に付した符号と図２Ａの矢印に付した符号とが対応しており、図２Ａの矢印は、フローチャートの各項目の動作におけるデータの流れを示している。制御部１１３は、指定期間をサイクルとしてこのフローチャートに従って蓄電残量を制御し、制御パラメータを学習する。

以下、図２Ａ及び図２Ｂにしたがって、制御部１１３の動作を説明する。まず、制御部１１３は、制御開始時点における蓄電装置の蓄電残量である初期蓄電残量を蓄電装置から取得する（Ｓ２０２）。次に、制御部１１３は、初期蓄電残量と制御パラメータとに基づいて、指定期間にわたる蓄電残量の制御に係る蓄電残量下限目標値を設定する（Ｓ２０４）。続いて、制御部１１３は、蓄電残量が蓄電残量下限目標値に対して所定の閾値内となるように制御する（Ｓ２０６）。その後、制御部１１３は、指定期間にわたる制御の終了時点における蓄電残量である到達蓄電残量を取得する（Ｓ２０８）。最後に、制御部１１３は、制御結果とも言える到達蓄電残量と蓄電残量下限目標値とに基づいて記憶部１１４に格納されている制御パラメータを更新する（Ｓ２１０）。以上で一連のサイクルが完了し、その後、Ｓ２０２に戻って繰り返す。このフローチャートにおいては、蓄電残量の制御に係る動作と制御パラメータの学習に係る動作とが一連となっている。Ｓ２０２、Ｓ２０４及びＳ２０６が制御に係る動作であり、Ｓ２０８及びＳ２１０が学習に係る動作である。

制御パラメータに基づく制御、及び制御パラメータの学習についてさらに理解するために、記憶部１１４に格納されている制御パラメータの内容を説明する。制御パラメータは、蓄電残量に重み付けをする重み付け値と、初期蓄電残量と蓄電残量下限目標値との関係を示す評価値とを含む。

重み付け値は任意の値をとることができるようにしてもよいし、とりうる値の範囲を設定するようにしてもよい。本実施形態においては、とりうる値の範囲を設定するものとする。重み付け値は、Ｓ２０４において制御部１１３が蓄電残量下限目標値を設定するとき、及びＳ２１０において制御部１１３が重み付け値と評価値とを更新するときに参照される。

評価値は、初期蓄電残量から蓄電残量下限目標値との関係を示すパラメータであり、その機能を果たすための表現方法がいくつか考えられる。本実施形態においては、初期蓄電残量に対応する第１インデックスと蓄電残量下限目標値に対応する第２インデックスとを有する二次元配列の要素として評価値を表すものとする。以後、評価値を表す二次元配列のことを評価値配列と呼ぶ。なお、他の一つの表現方法として、初期蓄電残量と蓄電残量下限目標値との関係を規定する関数の係数として評価値を表してもよい。すなわち、仮に初期蓄電残量をｘ、蓄電残量下限目標値をｙとしたときに、一次関数ｙ＝ａｘ＋ｂの関係が成り立つとして、係数ａ及びｂが評価値を表す。関数の例として線形関数を挙げたが、線形関数に限定するものではなく、二次関数やその他の非線形関数によって規定される場合もありうる。さらに他の一つの表現方法としては、初期蓄電残量に対応する第１インデックスのみを有する一次元配列として評価値を表してもよい。すなわち、初期蓄電残量に対応する蓄電残量下限目標値を評価値が直接示すようにしてもよい。

以下、重み付け値と評価値を用いて、図２Ｂに示した各ステップにおける制御部１１３の動作、特にＳ２０４とＳ２１０とにおける動作をさらに具体的に説明する。

本実施形態においては、評価値のふるまいに関する理解を容易にするために、初期蓄電残量と蓄電残量下限目標値とをそれぞれ３つに区分した初期蓄電残量区分と蓄電残量下限目標値区分とを定義し、評価値配列の第１インデックスと第２インデックスとにそれぞれ対応させる。また、蓄電装置の蓄電容量を２４ｋＷｈとする。したがって、初期蓄電残量区分と蓄電残量下限目標値区分とはともに、０−８ｋＷｈ、８−１６ｋＷｈ、１６−２４ｋＷｈ、の３つの範囲を区分として有することになる。各区分の代表値は中心の値とし、それぞれ４ｋＷｈ、１２ｋＷｈ、２０ｋＷｈである。他に、指定期間を１日（２４時間）、重み付け値のとりうる値の範囲を０．２以上０．８以下であるものとする。

図３（ａ）〜（ｆ）は、本実施形態における評価値配列を示す図である。評価値配列を表として示しており、初期蓄電残量区分と蓄電残量下限目標値区分とが、表の行と列とにそれぞれ対応している。初期蓄電残量区分に対応する第１インデックスをＳで表し、蓄電残量下限目標値区分に対応する第２インデックスをＡで表す。Ｓ及びＡは区分に対応する値をとるものとし、本実施形態ではそれぞれ１、２、３の３つの値をとるものとする。第１及び第２インデックスがともに３つの値をとるため、評価値配列を３行３列の表として示すことができる。これら２つのインデックスの組み合わせで評価値配列の要素、すなわち評価値を指定することができる。以下、Ｓ及びＡの組み合わせで指定される評価値をＥ（Ｓ，Ａ）と表す。

図３（ａ）は、評価値配列の初期状態を示している。評価値Ｅ（Ｓ，Ａ）は、第１及び第２インデックスが各３個の値をとるため３×３＝９個存在し、初期状態においてはそれら全てを基準値とすることができる。基準値は任意に設定し得る値であるが、本実施形態においては、蓄電容量２４ｋＷｈに重み付け値がとりうる値の範囲の中央値である０．５を乗じて得られる１２を基準値として用いる。よって、図３（ａ）に示されている９個の要素全てを１２としている。

制御開始時点において、初期蓄電残量が１２ｋＷｈであったとし、重み付け値が０．５であったとする。まずＳ２０４において、制御部１１３は、蓄電残量下限目標値を設定するためにそれに対応するＡの値を決定する。初期蓄電残量１２ｋＷｈはＳ＝２に対応する区分に属する。図３（ａ）で、Ｓ＝２とあらゆるＡの値、すなわちＡ＝１，２，３との組み合わせで指定される評価値Ｅ（２，１）、Ｅ（２，２）、Ｅ（２，３）の値は、すべて１２である。以後、このような評価値の集合のことを評価値群と呼ぶ。評価値群のうち唯一の最大値をとるものがあれば、その評価値に対応する評価値配列の要素に係るＡの値を決定することができるが、このように最大値を決められない場合にはどの評価値を選ぶこともできないため、重み付け値を参酌してＡを決定することになる。このとき、評価値群の中で同じ値となる複数の評価値に対応する評価値配列の複数の要素に係るＡの値の集合、すなわち第２インデックスの値の集合が決定される。制御部１１３は、Ａの値の集合からＡを決定するための式、
Ａ＝Ａ_min＋ＩＮＴ｛（Ｗ−Ｗ_min）／（Ｗ_max−Ｗ_min）×（Ａ_num−１）｝ （１）
Ａ：蓄電残量下限目標値区分に対応する第２インデックスの値
Ａ_min：第２インデックスの値の集合の中の最小値
ＩＮＴ｛｝：引数を四捨五入して整数化する関数
Ｗ：現在の重み付け値
Ｗ_min：重み付け値がとりうる値の最小値
Ｗ_max：重み付け値がとりうる値の最大値
Ａ_num：第２インデックスの値の集合の要素数
に、Ａ_min＝１、Ｗ＝０．５、Ｗ_min＝０．２、Ｗ_max＝０．８、Ａ_num＝３を代入することによって、Ａ＝２と決定できる。Ａ＝２に対応する蓄電残量下限目標値区分の代表値は１２ｋＷｈであるので、制御部１１３は、この後の指定期間の運転における蓄電残量下限目標値を１２ｋＷｈと設定する。

Ｓ２０６で、制御部１１３は、Ｓ２０４で設定した蓄電残量下限目標値１２ｋＷｈに従って指定期間の運転制御を行う。Ｓ２０８で、到達蓄電残量を取得し、その値が７ｋＷｈであったものとする。

次にＳ２１０に進む。まず、制御部１１３は、到達蓄電残量と蓄電残量下限目標値とを比較して重み付け値を見直す。この場合、Ａ＝２に対応する蓄電残量下限目標値区分の範囲８−１６ｋＷｈに対して到達蓄電残量が７ｋＷｈであって下回ったこととなるので、重み付け値を増大させる。本実施形態においては、重み付け値を０．５から０．８に更新する。なお、到達蓄電残量と蓄電残量下限目標値とを比較して重み付け値を見直すための基準は、到達蓄電残量が蓄電残量下限目標値区分の範囲に含まれるか否かということには限られず、蓄電残量下限目標値に対する所定の閾値を設けて比較基準としてもよい。

続いて、制御部１１３は、更新した重み付け値を用いて、制御結果の良否を判断するための報酬値を計算する。報酬値を計算するための式、
Ｒ＝Ｂ×Ｗ＋（Ｂ_max−Ｂ）×（Ｗ_max＋Ｗ_min−Ｗ） （２）
Ｒ：報酬値
Ｂ：到達蓄電残量
Ｂ_max：蓄電容量
Ｗ：現在の重み付け値
Ｗ_min：重み付け値がとりうる値の最小値
Ｗ_max：重み付け値がとりうる値の最大値
に、Ｂ＝７、Ｗ＝０．８、Ｂ_max＝２４、Ｗ_max＝０．８、Ｗ_min＝０．２を代入して計算すると、７×０．８＋（２４−７）×（１−０．８）＝９．０となる。計算した報酬値を現在のＳ及びＡの値で指定される評価値、すなわち報酬値設定対象要素に上書きする。報酬値が基準値未満である場合は、制御部１１３は、報酬値設定対象要素に基準値を上書きする。現在はＳ＝２、Ａ＝２であるため、報酬値設定対象要素である評価値Ｅ（２，２）に基準値１２を上書きすることとなり、実質的に図３（ａ）から変化しない。

次にＳ２０２に戻り、制御部１１３は、前サイクルと同様に初期蓄電残量７ｋＷｈを取得する。続いてＳ２０４で、制御部１１３は、新たに蓄電残量下限目標値を設定する。初期蓄電残量７ｋＷｈはＳ＝１に対応する初期蓄電残量区分に属する。図３（ａ）で、前サイクルと同様にＳ＝１とあらゆるＡの値との組み合わせで指定される評価値群を構成する評価値Ｅ（１，１）、Ｅ（１，２）、Ｅ（１，３）の値は、すべて１２である。前サイクルと同様、最大値を決められないので、Ａを計算するための式（１）に、Ａ_min＝１、Ｗ＝０．８、Ｗ_min＝０．２、Ｗ_max＝０．８、Ａ_num＝３を代入することによって、Ａ＝３と決定できる。Ａ＝３に対応する蓄電残量下限目標値区分の代表値は２０ｋＷｈであるので、制御部１１３は、この後の指定期間の運転における蓄電残量下限目標値を２０ｋＷｈと設定する。

Ｓ２０６で、制御部１１３は、Ｓ２０４で設定した蓄電残量下限目標値２０ｋＷｈに従って指定期間の運転制御を行う。Ｓ２０８で、到達蓄電残量を取得し、その値が１８ｋＷｈであったものとする。

次にＳ２１０に進む。制御部１１３は、前サイクルと同様に重み付け値を見直す。この場合、Ａ＝３に対応する蓄電残量下限目標値区分の範囲１６−２４ｋＷｈに対して到達蓄電残量１８ｋＷｈはその範囲内であるから、本実施態様においては重み付け値を０．８に据え置く。

続いて、制御部１１３は前サイクルと同様に、報酬値を計算するための式（２）に、Ｂ＝１８、Ｗ＝０．８、Ｂ_max＝２４、Ｗ_max＝０．８、Ｗ_min＝０．２を代入して計算すると、１８×０．８＋（２４−１８）×（１−０．８）＝１５．６となる。この報酬値は基準値１２以上である。現在はＳ＝１、Ａ＝３であるので、制御部１１３は、報酬値設定対象要素である評価値Ｅ（１，３）に計算した報酬値１５．６を上書きする。その結果、評価値を表す二次元配列は図３（ｂ）のようになる。

この後、何度かサイクルを繰り返して、評価値を表す二次元配列が図３（ｃ）のようになったとする。ここで、外部要因により強制的に重み付け値を０．２に変更したとする。このとき、Ｓ２０２で取得した初期蓄電残量が２０ｋＷｈとする。

次にＳ２０４に進む。初期蓄電残量２０ｋＷｈはＳ＝３に対応する初期蓄電残量区分に属する。図３（ｃ）で、これまでと同様にＳ＝３とあらゆるＡの値との組み合わせで指定される評価値群を構成する評価値Ｅ（３，１）、Ｅ（３，２）、Ｅ（３，３）の値のうちＥ（３，３）が１６．８であって最大である。この場合は、重み付け値を参酌せずにＡ＝３と決定できる。Ａ＝３に対応する蓄電残量下限目標値区分の代表値は２０ｋＷｈであるので、制御部１１３は、この後の指定期間の運転における蓄電残量下限目標値を２０ｋＷｈとする。

Ｓ２０６で、制御部１１３は、Ｓ２０４で設定した蓄電残量下限目標値２０ｋＷｈに従って指定期間の運転制御を行う。Ｓ２０８で、到達蓄電残量を取得し、その値が２０ｋＷｈであったものとする。

次にＳ２１０に進み、制御部１１３は重み付け値を見直す。この場合、Ａ＝３に対応する蓄電残量下限目標値区分の範囲１６−２４ｋＷｈに対して到達蓄電残量２０ｋＷｈはその範囲内であるから、重み付け値を０．２に据え置く。

続いて、報酬値を計算するための式（２）にＢ＝２０、Ｗ＝０．２、Ｂ_max＝２４、Ｗ_max＝０．８、Ｗ_min＝０．２を代入して計算すると、２０×０．２＋（２４−２０）×（１−０．２）＝７．２となる。この報酬値は基準値１２未満である。現在はＳ＝３、Ａ＝３であるので、制御部１１３は、報酬値設定対象要素である評価値Ｅ（３，３）に基準値１２を上書きする。その結果、評価値は図３（ｄ）のようになる。

次にＳ２０２に戻り、制御部１１３は、初期蓄電残量２０ｋＷｈを取得する。続いてＳ２０４で、制御部１１３は、新たに蓄電残量下限目標値を設定する。初期蓄電残量２０ｋＷｈはＳ＝３に対応する初期蓄電残量区分に属する。図３（ｄ）で、Ｓ＝３とあらゆるＡの値との組み合わせで指定される評価値群を構成する評価値Ｅ（３，１）、Ｅ（３，２）、Ｅ（３，３）の値は、すべて１２である。最大値を決められないので、制御部１１３は、式（１）に、Ａ_min＝１、Ｗ＝０．２、Ｗ_min＝０．２、Ｗ_max＝０．８、Ａ_num＝３を代入することによって、Ａ＝１と決定できる。Ａ＝１に対応する蓄電残量下限目標値区分の代表値は４ｋＷｈであるので、制御部１１３は、この後の指定期間の運転における蓄電残量下限目標値を４ｋＷｈと設定する。

Ｓ２０６で、制御部１１３は、Ｓ２０４で設定した蓄電残量下限目標値４ｋＷｈに従って指定期間の運転制御を行う。Ｓ２０８で、到達蓄電残量を取得し、その値が６ｋＷｈであったものとする。

次にＳ２１０に進み、制御部１１３は重み付け値を見直す。この場合、Ａ＝１に対応する蓄電残量下限目標値区分の範囲０−８ｋＷｈに対して到達蓄電残量６ｋＷｈはその範囲内であるから、重み付け値を０．２に据え置く。

次に、報酬値を計算するための式（２）にＢ＝６、Ｗ＝０．２、Ｂ_max＝２４、Ｗ_max＝０．８、Ｗ_min＝０．２を代入して計算すると、６×０．２＋（２４−６）×（１−０．２）＝１５．６となる。この報酬値は基準値１２以上である。現在はＳ＝３、Ａ＝１であるので、制御部１１３は、報酬値設定対象要素である評価値Ｅ（３，１）に計算した報酬値１５．６を上書きする。その結果、評価値は図３（ｅ）のようになる。

この後さらに運転サイクルを何度か繰り返したときの一例として評価値が図３（ｆ）のようになる。このようなサイクルを繰り返すことにより、重み付け値及び評価値が逐次更新され、制御パラメータの学習が実現されることが理解できる。

（変形例）
本実施形態について、初期蓄電残量区分と蓄電残量下限目標値区分とをそれぞれ３つとした場合を説明してきたが、その変形例として、初期蓄電残量区分と蓄電残量下限目標値区分とをそれぞれ１ｋＷｈ単位に区分した場合を示して説明する。本変形例においては、指定期間を１日（２４時間）、蓄電容量を２３ｋＷｈ、重み付け値がとりうる値の範囲を０．２以上０．８以下であるものとする。また、蓄電容量２３ｋＷｈに対して、実用上満充電することはなく、完全に空になるまで放電することもないため、初期蓄電残量と蓄電残量下限目標値の範囲を２−２１ｋＷｈとする。さらに、蓄電残量下限目標値に対応する概念として、蓄電残量下限目標値と初期蓄電残量との差である蓄電増減量を導入する。

図４Ａは、本変形例における評価値配列の初期状態を示している。行と列がそれぞれＳ及びＡに対応することについては図３と同様であるが、初期蓄電残量及び蓄電残量下限目標値を１ｋＷｈごとに区分しているために区分数が増加し、対応するＳ及びＡの値が増加している点で異なる。初期蓄電残量を２−２１ｋＷｈを１ｋＷｈごとに区分して、２，３，・・・，２１ｋＷｈをそれぞれの中心値とした初期蓄電残量区分を、それぞれＳ＝０，１，・・・，１９に対応づける。また、本変形例で新たに定義した蓄電増減量を−１９〜＋１９ｋＷｈの範囲にわたって１ｋＷｈごとに区分して、−１９，−１８，・・・，＋１９ｋＷｈをそれぞれの中心値とした蓄電増減量区分を、それぞれＡ＝０，１，・・・，３８に対応づける。評価値Ｅ（Ｓ，Ａ）は、第１インデックス２０個と第２インデックス３９個との積である７８０個存在する。評価値の初期値として、実際の動作で実行不可能である組み合わせ、たとえば初期蓄電残量２ｋＷｈのときに蓄電増減量が−１０ｋＷｈとなるような組み合わせの評価値には０をセットし、それ以外の評価値には基準値をセットしている。なお、本変形例における基準値は、初期蓄電残量の範囲である２−２１ｋＷｈの中央値に等しい値１１．５としている。

制御開始時点において、初期蓄電残量が２１ｋＷｈ、重み付け値が０．５であったとする。次にＳ２０４に進む。初期蓄電残量２１ｋＷｈは図４ＡにおいてＳ＝１９に属する。図４Ａで、Ｓ＝１９とあらゆるＡの値との組み合わせで指定される評価値群を構成する評価値Ｅ（１９，Ａ）（Ａ＝０〜３８）のうち、Ａ＝１〜１９にわたる１９個の要素が１１．５で同一である。この中から唯一の最大値を決めることができないため、制御部１１３は、これらの要素に係るＡ＝１〜１９を第２インデックスの値の集合と決定する。制御部１１３は、この第２インデックスの値の集合から、重み付け値によってＡを決定する。具体的には、前述の式（１）を計算する。式（１）に、Ａ_min＝１、Ｗ＝０．５、Ｗ_min＝０．２、Ｗ_max＝０．８、Ａ_num＝１９を代入して計算すると、Ａ＝１０となる。Ａ＝１０は、増減量−１０ｋＷｈに対応し、これは、初期蓄電残量２１ｋＷｈに対して、蓄電残量下限目標値を１１ｋＷｈとすることを意味する。

Ｓ２０６で、制御部１１３は、Ｓ２０４で設定した蓄電残量下限目標値に従って指定期間の運転制御を行う。Ｓ２０８で、到達蓄電残量を取得し、その値が１６ｋＷｈであったものとする。

次にＳ２１０に進み、制御部１１３は重み付け値を見直す。本変形例では蓄電残量下限目標値と到達蓄電残量との比較によらず、外部要因により重み付け値を０．５５に更新するものと仮定する。

次に、報酬値を計算するための式（２）にＢ＝１６、Ｗ＝０．５５、Ｂ_max＝２３、Ｗ_max＝０．８、Ｗ_min＝０．２を代入して計算すると、１６×０．５５＋（２３−１６）×（１−０．５５）＝１２となる。この報酬値は基準値１１．５以上である。現在はＳ＝１９、Ａ＝１０であるため、制御部１１３は、報酬値設定対象要素である評価値Ｅ（１９，１０）に計算した報酬値１２を上書きする。

次にＳ２０２に戻り、制御部１１３は、初期蓄電残量１６ｋＷｈを取得する。続いてＳ２０４で、制御部１１３は、新たに蓄電残量下限目標値を設定する。初期蓄電残量１６ｋＷｈはＳ＝１４に対応する初期蓄電残量区分に属する。図４Ａで、Ｓ＝１４とあらゆるＡの値との組み合わせで指定される評価値群を構成する評価値Ｅ（１４，Ａ）（Ａ＝０〜３８）のうち、Ａ＝６〜２４にわたる１９個の要素が１１．５で同一である。この中から唯一の最大値を決めることができないため、制御部１１３は、これらの要素に係るＡ＝６〜２４を第２インデックスの値の集合と決定する。前サイクルと同様、式（１）にＡ_min＝６、Ｗ＝０.５５、Ｗ_min＝０．２、Ｗ_max＝０．８、Ａ_num＝１９を代入して計算すると、Ａ＝１７となる。Ａ＝１７は、増減量−２ｋＷｈに対応することから、初期蓄電残量１６ｋＷｈに対して、蓄電残量下限目標値を１４ｋＷｈとすることを意味する。

前サイクルと同様、制御部１１３は、蓄電残量下限目標値に従って指定期間の運転制御を行い、到達蓄電残量から報酬値を計算し、基準値と比較した上で、報酬値設定対象要素である評価値Ｅ（１４，１７）に上書きする。以下、Ｓ２０２に戻る。

以上のサイクルを繰り返すことにより、評価値の収束が見られる。図４Ｂは重み付け値０．８で評価値が収束した例である。初期蓄電残量、すなわちＳの値に関わらず、新しいサイクルで蓄電残量下限目標値を設定すると必ず２１ｋＷｈとなるような評価値配列となっている。図４Ｃは重み付け値０．２で評価値が収束した例である。初期蓄電残量、すなわちＳの値に関わらず、新しいサイクルで蓄電残量下限目標値を設定すると必ず３ｋＷｈとなるような評価値配列となっている。図４Ｄは図４Ｂ又は図４Ｃの状態から、重み付け値を０．５に戻して評価値が収束した例である。初期蓄電残量、すなわちＳの値に関わらず、新しいサイクルで蓄電残量下限目標値を設定すると必ず１２ｋＷｈとなるような評価値配列となっている。

以上の説明のとおり、初期蓄電残量及び蓄電残量下限目標値のとりうる値の範囲を任意の階級に区分しても、さらに蓄電増減量の概念を導入しても、図２Ｂに示した各ステップにおける制御部１１３の動作を繰り返すことにより、重み付け値及び評価値が逐次更新され、制御パラメータの学習が実現されることが理解できる。

（評価値の上書きルールを変更した場合の実施例）
本実施形態に係るここまでの説明では、基準値を天下り的に導入し、さらに評価値の初期値を基準値としてきた。また、報酬値が基準値未満である場合は報酬値設定対象要素に基準値を上書きするというルールを導入してきた。以下、報酬値が基準値未満であっても、報酬値設定対象要素に報酬値をそのまま上書きするものとした場合の具体的な動作によって起こりうる状況を示し、報酬値が基準値未満である場合は報酬値設定対象要素に基準値を上書きするというルールを導入することの効果を説明する。

図５（ａ）は図３（ａ）と同一の評価値配列を再度示したものであり、本実施例における評価値配列の初期状態である。制御開始時点において、初期蓄電残量１２ｋＷｈ、重み付け値０．５であったとする。次にＳ２０４に進む。初期蓄電残量１２ｋＷｈはＳ＝２に属する。図５（ａ）で、Ｓ＝２とあらゆるＡの値との組み合わせで指定される評価値群を構成する評価値Ｅ（２，１）、Ｅ（２，２）、Ｅ（２，３）の値は、すべて１２である。前述の場合と同様、最大値を決められないので、Ａを計算するための式（１）に、Ａ_min＝１、Ｗ＝０．５、Ｗ_min＝０．２、Ｗ_max＝０．８、Ａ_num＝３を代入することによって、Ａ＝２と決定できる。Ａ＝２に対応する蓄電残量下限目標値区分の代表値は１２ｋＷｈであるので、制御部１１３は、この後の指定期間の運転における蓄電残量下限目標値を１２ｋＷｈと設定する。

Ｓ２０６で、制御部１１３は、Ｓ２０４で設定した蓄電残量下限目標値に従って指定期間の運転制御を行う。Ｓ２０８で、到達蓄電残量を取得し、その値が７ｋＷｈであったものとする。

次にＳ２１０に進み、制御部１１３は、重み付け値を見直す。この場合、Ａ＝２に対応する蓄電残量下限目標値区分の範囲８−１６ｋＷｈに対して到達蓄電残量が下回ったこととなるので、重み付け値を増大させる。本実施形態においては、重み付け値を０．５から０．８に更新する。

続いて、報酬値を計算するための式（２）に、Ｂ＝７、Ｗ＝０．８、Ｂ_max＝２４、Ｗ_max＝０．８、Ｗ_min＝０．２を代入して計算すると、７×０．８＋（２４−７）×（１−０．８）＝９．０となる。ここでは報酬値が基準値未満であっても上書きを制限するルールがないとしているので、計算した報酬値をそのまま上書きする。現在はＳ＝２、Ａ＝２であるため、制御部１１３は、報酬値設定対象要素である評価値Ｅ（２，２）に計算した報酬値９．０を上書きする。その結果、評価値配列は図５（ｂ）のようになる。

図５（ｂ）のような評価値配列において、Ｓ＝２となった場合に、制御部１１３がＳ２０４における動作によってＡをどのように決定するか考える。図５（ｂ）で、Ｓ＝２とあらゆるＡの値との組み合わせで指定される評価値群を構成する評価値Ｅ（２，１）、Ｅ（２，２）、Ｅ（２，３）のうち最大値となっているのはＥ（２，１）及びＥ（２，３）である。制御部１１３は、これらの要素に係るＡ＝１，３を第２インデックスの値の集合と決定する。したがってこのとき仮に重み付け値０．５であったとして、式（１）に、Ａ_min＝１、Ｗ＝０．５、Ｗ_min＝０．２、Ｗ_max＝０．８、Ａ_num＝２を代入することになり、Ａ＝１＋ＩＮＴ｛（０．５−０．２）／（０．８−０．２）×（２−１）｝＝２という結果が得られる。このときＡ＝２とは、第２インデックスの値の集合の中で２番目の値を選択することを意味するから実際にはＡ＝３と決定される。仮に報酬値が基準値未満の場合は基準値を上書きするというルールを導入していれば、評価値Ｅ（２，２）は１２であったため、第２インデックスの値の集合はＡ＝１，２，３となる。この集合に対して式（１）を適用すればＡ＝２と決定されるはずであったが、実際にはＡ＝２と決定されることはなくなった。

また、評価値が一旦図５（ｂ）のようになった後、次にＡ＝２が選択されるためには、評価値Ｅ（２，１）及びＥ（２，３）が９以下の値で上書きされる必要がある。このような条件がそろう可能性は低く、インデックスのとりうる値が増加すればさらに低くなる。すなわち、重み付け値の変化などに伴って評価値の分布も変化すべきときに、ある評価値が選択される可能性が低くなっていることは、評価値の最適化を妨げることとなる。本発明の制御手段は、初期蓄電残量に対応する評価値群のうち最大値となっている評価値を選択して蓄電残量下限目標値を決定するものであるから、評価値の下限を決めることでその決定に悪影響を与えるものではない。むしろ、ある評価値が極端に小さい値となることを許容して、その評価値に対応するＡの値が二度と選択されないこととなるのは不合理である。したがって、評価値の下限を基準値としておけば、このような問題を回避できる。すなわち、評価値に報酬値を上書きする際に、基準値未満の値が上書きされないようにするルールは、評価値の最適化を妨げず、評価値の収束をスムーズにするという効果を奏することが、本実施例によって理解できる。

なお、本実施形態では基準値を算出する方法を天下り的に与えている。すなわち、報酬値を計算する式に代入する重み付け値を、重み付け値がとりうる値の範囲の中央値とした場合に決定される報酬値を基準値と定義している。これは、到達蓄電残量Ｂが任意の値であるとして報酬値を計算する場合でも、式（２）にＷ＝（Ｗ_max＋Ｗ_min）／２を代入することで、
Ｒ＝Ｂ×（Ｗ_max＋Ｗ_min）／２＋（Ｂ_max−Ｂ）×（Ｗ_max＋Ｗ_min）／２
＝Ｂ_max×（Ｗ_max＋Ｗ_min）／２
となり、変数であるＢが消去され、報酬値Ｒが一意に決定されるようにするためである。

なお、報酬値を計算するための式（２）において、ＢとＢ_max−Ｂとを入れ替えた実施形態とすれば、重み付け値の大小関係が逆転することに留意されたい。すなわち、本実施形態では重み付け値が大きいほど蓄電残量が多くなるように制御する構成をとるが、逆に重み付け値が小さいほど蓄電残量が多くなるように制御する実施形態とすることもできる。

本実施形態において、外部要因で重み付け値を変更する例を示したが、ここでは重み付け値を更新する基準についていくつか例を挙げる。

一つには、到達蓄電残量が蓄電残量下限目標値を下回った場合に重み付け値を大きくすることが考えられる。なお、通常の制御において蓄電残量下限目標値を下回ることはないが、停電が発生すると蓄電装置から放電が開始されるため、到達蓄電残量が蓄電残量下限目標値を下回る事態が発生しうる。

または、電気料金最大期間における系統への逆潮流電力量が所定の閾値を下回った場合にも重み付け値を大きくすることが考えられる。これは、そのような期間に逆潮流を行うことで系統の電力安定化に寄与できるためである。

さらには、制御システムに備えられている分散型電源、例えば太陽光発電の発電電力が需要家設備の総消費電力量を上回り、かつ蓄電装置の空き容量が所定の閾値を下回った場合に重み付け値を小さくすることが考えられる。

他に、電力単価が所定の閾値を下回り、かつ蓄電装置の空き容量が所定の閾値を下回った場合に重み付け値を小さくすることが考えられる。

以上、本実施形態に係る制御システムの実施形態について説明してきた。本発明に係る制御システムによれば、設置されている環境における天候、気温、負荷、電気料金、停電発生頻度、デマンドレスポンス（負荷応答）頻度等の設置環境に応じて自動的で簡便に電力制御を実行し、最適な蓄電残量制御が可能となる。学習の対象を蓄電残量のみとすることにより、学習モデルの単純化が可能である。

従来、太陽光発電の電力は、再生可能エネルギーの固定価格買い取り制度によって通常の電力単価よりも高く設定された単価で売電されている。蓄電池から放電した電力がこの固定価格買い取り制度によって高く設定されている単価で売電されることは制度趣旨に反するため、蓄電池から放電した電力が売電されないことが設備によって担保されているという条件の下で、固定価格買い取り制度の電力単価が適用される。そのため、特許文献１で開示されているような蓄電池を備えた制御システムは売電を考慮する必要がなく、売電しない前提で構成されている。

しかし、現状、蓄電池から放電した電力を売電することが禁止されているわけではなく、通常の電力単価でよければ売電可能である。近年、固定価格買い取り制度の電力単価が引き下げられる傾向にあり、蓄電池から放電した電力を売電しないという選択をするメリットが小さくなっている。そこで、蓄電池から系統への電力の逆潮流を考慮した本明細書で開示したような制御システムの必要性が増している。さらに、スマートメータの導入を前提とした電力のダイナミックプライシングの導入が進めば、系統への逆潮流による売電にあたって、可能な限り売電単価が高い時期を選んで売電するような制御が重視されるようになる点においても、本明細書で開示したような制御システムが必要とされる。

また、時間帯による電力需要の変動に応じて、電力単価は時間帯ごとに高く設定されたり安く設定されたりする。一般に深夜の時間帯には電力需要が少なく、電力単価が安く設定されるため、その時間帯に電力需要家が電力消費して蓄電又は蓄熱を行うと電力料金の抑制につながる。一方、電力需要が多く、電力単価が高く設定される時間帯（通常７時から２３時）には、電力需要家から系統電力への逆潮流を行うことによって売電単価に応じた収入が得られる。これは、電力負荷の平準化に寄与することとなる。

蓄電池を備え、蓄電池から系統への逆潮流を考慮する制御システムにおいて、蓄電池の容量が一つの制約となる。つまり、蓄電池の容量が小さい場合は、系統への逆潮流を増やすことが考えられ、一方、蓄電池の容量が大きい場合は蓄電を優先して運用することが考えられる。しかし、蓄電池の容量だけに基づいて運用方針を決定することはできず、それぞれの電力需要家における電力需給のパターンを織り込む必要がある。そのために、制御装置がそれぞれの電力需要家における電力需給のパターンを学習する機能を備えることが有益である。電力需給に関係するパラメータは多岐にわたりそれらの全てを考慮すると学習モデルが複雑化するが、できるだけ学習モデルを単純化することが望ましい。この点において、本明細書で開示したような制御システムが備える学習方法が有利な効果を奏するものと考えられる。

本発明を諸図面および実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形または修正をおこなうことが容易であることに注意されたい。従って、これらの変形または修正は本発明の範囲に含まれることに留意されたい。例えば、各構成部、各ステップなどに含まれる機能などは論理的に矛盾しないように再配置可能であり、複数の構成部およびステップなどを１つに組み合わせたり、或いは分割したりすることが可能である。

１００ 制御システム
１１０ 制御装置
１１３ 制御部
１１４ 記憶部
１２６ 蓄電装置
１３２ スマートメータ
１３４ 保護継電器
１５０ 商用電力系統

Claims (11)

1. 商用電力系統に連系される蓄電装置を制御する制御装置であって、
   前記蓄電装置の蓄電残量を制御するための制御パラメータを格納する記憶部と、
   前記制御パラメータに基づいて前記蓄電残量を制御し、制御結果に基づいて前記記憶部に格納されている前記制御パラメータを学習する制御部と
   を備え、
   前記制御パラメータは、
   前記蓄電残量に重み付けをする重み付け値と、
   制御開始時点における前記蓄電残量である初期蓄電残量と、指定期間にわたる前記蓄電残量の制御に係る蓄電残量下限目標値との関係を示す評価値と
   を含み、
   前記制御部は、
   前記制御結果に基づいて前記重み付け値を更新し、
   前記指定期間にわたる制御の終了時点における前記蓄電残量である到達蓄電残量と前記重み付け値とに基づいて前記評価値を更新する、制御装置。
2. 前記制御部は、
   前記初期蓄電残量と前記制御パラメータとに基づいて、前記蓄電残量下限目標値を設定し、
   前記蓄電残量が前記蓄電残量下限目標値に対して所定の閾値内となるように制御する、請求項１に記載の制御装置。
3. 前記評価値は、
   前記初期蓄電残量がとりうる値の範囲を任意の階級に区分してなる初期蓄電残量区分に対応する第１インデックスと、
   前記蓄電残量下限目標値がとりうる値の範囲を任意の階級に区分してなる蓄電残量下限目標値区分に対応する第２インデックスと
   を有する二次元配列の要素として表される、請求項２に記載の制御装置。
4. 前記制御部は、
   現在の初期蓄電残量に対応する前記第１インデックスの値とあらゆる前記第２インデックスの値との組み合わせにより指定される前記二次元配列の要素の集合である評価値群の中で最大値をとる唯一の評価値を決められる場合には、該評価値に対応する前記二次元配列の要素に係る前記第２インデックスの値に対応する前記蓄電残量下限目標値区分の代表値を前記蓄電残量下限目標値として設定し、
   前記評価値群の中で複数の評価値が同じ値であって最大値をとる唯一の評価値を決められない場合には、前記重み付け値に基づいて前記蓄電残量下限目標値区分を決定し前記蓄電残量下限目標値区分の代表値を前記蓄電残量下限目標値として設定する、請求項３に記載の制御装置。
5. 前記制御部は、
   前記重み付け値と前記到達蓄電残量とを用いて前記制御結果の良否を判断するための報酬値を決定し、
   前記報酬値が基準値以下であった場合には、現在の初期蓄電残量に対応する前記第１インデックスの値と現在の蓄電残量下限目標値に対応する前記第２インデックスの値との組み合わせにより指定される前記二次元配列の要素である報酬値設定対象要素に前記基準値を設定し、
   前記報酬値が前記基準値を超える値であった場合には、前記報酬値設定対象要素に前記報酬値を設定し、
   前記評価値に対応する前記二次元配列の全要素の初期値は、前記基準値に等しく設定される、請求項４記載の制御装置。
6. 前記制御部は、
   前記評価値群の中で同じ値となる複数の評価値に対応する前記二次元配列の複数の要素に係る前記第２インデックスの値の集合を決定し、
   Ａ＝Ａ_min＋ＩＮＴ｛（Ｗ−Ｗ_min）／（Ｗ_max−Ｗ_min）×（Ａ_num−１）｝
   Ａ：蓄電残量下限目標値区分に対応する第２インデックスの値
   Ａ_min：第２インデックスの値の集合の中の最小値
   ＩＮＴ｛｝：引数を四捨五入して整数化する関数
   Ｗ：現在の重み付け値
   Ｗ_min：重み付け値がとりうる値の最小値
   Ｗ_max：重み付け値がとりうる値の最大値
   Ａ_num：第２インデックスの値の集合の要素数
   に基づいて前記第２インデックスの値を計算し、
   前記計算した第２インデックスの値に基づいて前記蓄電残量下限目標値区分を決定する、請求項５に記載の制御装置。
7. 前記制御部は、
   Ｒ＝Ｂ×Ｗ＋（Ｂ_max−Ｂ）×（Ｗ_max＋Ｗ_min−Ｗ）
   Ｒ：報酬値
   Ｂ：到達蓄電残量
   Ｂ_max：蓄電容量
   Ｗ：現在の重み付け値
   Ｗ_min：重み付け値がとりうる値の最小値
   Ｗ_max：重み付け値がとりうる値の最大値
   に基づいて前記報酬値を計算する、請求項５に記載の制御装置。
8. 前記基準値は、前記重み付け値を前記重み付け値がとりうる値の範囲の中央値に等しいものとした場合に決定される前記報酬値である、請求項５乃至７のいずれか１項に記載の制御装置。
9. 前記制御部は、
   前記到達蓄電残量が前記蓄電残量下限目標値を前記所定の閾値を超えて下回った場合、又は電気料金最大期間における系統への逆潮流電力量が所定の値を下回った場合に、前記重み付け値を大きい値に変化させるように更新し、
   発電装置の発電電力が需要家設備の総消費電力量を上回る、若しくは電力単価が所定の値を下回り、かつ前記蓄電装置の空き容量が所定の値を下回った場合に、前記重み付け値を小さい値に変化させるように更新する、請求項２乃至８のいずれか１項に記載の制御装置。
10. 商用電力系統に連系される蓄電装置を制御する制御装置を備える制御システムであって、
    前記制御装置は、
    前記蓄電装置の蓄電残量を制御するための制御パラメータを格納する記憶部と、
    前記制御パラメータに基づいて前記蓄電残量を制御し、制御結果に基づいて前記記憶部に格納されている前記制御パラメータを学習する制御部と
    を備え、
    前記制御パラメータは、
    前記蓄電残量に重み付けをする重み付け値と、
    制御開始時点における前記蓄電残量である初期蓄電残量と、指定期間にわたる前記蓄電残量の制御に係る蓄電残量下限目標値との関係を示す評価値と
    を含み、
    前記制御部は、
    前記制御結果に基づいて前記重み付け値を更新し、
    前記指定期間にわたる制御の終了時点における前記蓄電残量である到達蓄電残量と前記重み付け値とに基づいて前記評価値を更新する、制御システム。
11. 商用電力系統に連系される蓄電装置を制御する制御装置における制御方法であって、
    制御パラメータに基づいて蓄電残量を制御するステップと、
    制御結果に基づいて前記制御パラメータを学習するステップと
    を含み、
    前記制御パラメータは、
    前記蓄電残量に重み付けをする重み付け値と、
    制御開始時点における前記蓄電残量である初期蓄電残量と、指定期間にわたる前記蓄電残量の制御に係る蓄電残量下限目標値との関係を示す評価値と
    を含み、
    前記制御するステップは、
    前記初期蓄電残量を取得するステップと、
    前記蓄電残量下限目標値を設定するステップと、
    を含み、
    前記学習するステップは、
    前記指定期間にわたる制御の終了時点における前記蓄電残量である到達蓄電残量を取得するステップと、
    前記制御結果に基づいて前記重み付け値を更新するステップと、
    前記到達蓄電残量と前記重み付け値とに基づいて前記評価値を更新するステップと
    を含む、制御方法。

Images