JP6590029B1 - 行動生成装置、蓄電素子評価装置、コンピュータプログラム、学習方法及び評価方法 - Google Patents

Abstract

【課題】蓄電素子の健康度を加味した、システム全体の最適な運用を実現することができる行動生成装置、蓄電素子評価装置、コンピュータプログラム、学習方法及び評価方法を提供する。【解決手段】行動生成装置は、蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択する行動選択部と、前記行動選択部で選択した行動を実行したときの前記蓄電素子のＳＯＨを含む状態を取得する状態取得部と、前記行動選択部で選択した行動を実行したときの報酬を取得する報酬取得部と、前記状態取得部で取得した状態及び前記報酬取得部で取得した報酬に基づいて、前記行動評価情報を更新する更新部と、前記更新部で更新した行動評価情報に基づいて、前記蓄電素子の状態に対応する行動を生成する行動生成部とを備える。【選択図】図４

Description

本発明は、行動生成装置、蓄電素子評価装置、コンピュータプログラム、学習方法及び評価方法に関する。

蓄電素子（Energy Storage Device）は、無停電電源装置、安定化電源に含まれる直流又は交流電源装置等に広く使用されている。また、再生可能エネルギー又は既存の発電システムにて発電された電力を蓄電しておく大規模な電力システムでの蓄電素子の利用が拡大している。

このような電力システムにおいては、太陽光発電装置又は風力発電装置等で発電された電力を電力会社に売電する市場取引が行われている。特許文献１には、予測される電力需要量と供給可能な電力量とに基づいて、より高い価格で売電することができるタイミングを提供する技術が開示されている。

特開２０１７−１５１７５６号公報

しかし、特許文献１の技術では、蓄電素子の健康度について考慮されていない。例えば、売電のタイミングだけを優先するシステム運用を行うと、蓄電素子の健康度が低下するおそれがある。一方で、蓄電素子の健康度を過度に優先する場合は、売電量の拡大や買電の抑制につながらない。

本発明は、蓄電素子の健康度を加味した、システム全体の最適な運用を実現することができる行動生成装置、蓄電素子評価装置、コンピュータプログラム、学習方法及び評価方法を提供することを目的とする。

行動生成装置は、蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択する行動選択部と、前記行動選択部で選択した行動を実行したときの前記蓄電素子のＳＯＨを含む状態を取得する状態取得部と、前記行動選択部で選択した行動を実行したときの報酬を取得する報酬取得部と、前記状態取得部で取得した状態及び前記報酬取得部で取得した報酬に基づいて、前記行動評価情報を更新する更新部と、前記更新部で更新した行動評価情報に基づいて、前記蓄電素子の状態に対応する行動を生成する行動生成部とを備える。

コンピュータプログラムは、コンピュータに、蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択する処理と、選択した行動を実行したときの報酬及び前記蓄電素子のＳＯＨを含む状態を取得する処理と、取得した報酬が大きくなるように、前記行動評価情報を更新して、前記蓄電素子の状態に対応する行動を学習させる処理とを実行させる。

学習方法は、蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択し、選択された行動を実行したときの報酬及び前記蓄電素子のＳＯＨを含む状態を取得し、取得された報酬が大きくなるように、前記行動評価情報を更新して、前記蓄電素子の状態に対応する行動を学習する。

蓄電素子評価装置は、更新済の行動評価情報を含む学習済モデルと、蓄電素子のＳＯＨを含む状態を取得する状態取得部と、前記状態取得部で取得した状態を前記学習済モデルに入力し、前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する評価生成部とを備える。

コンピュータプログラムは、コンピュータに、蓄電素子のＳＯＨを含む状態を取得する処理と、更新済の行動評価情報を含む学習済モデルに、取得した状態を入力する処理と、前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する処理とを実行させる。

評価方法は、蓄電素子のＳＯＨを含む状態を取得し、更新済の行動評価情報を含む学習済モデルに、取得した状態を入力し、前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する。

上記の構成により、蓄電素子の健康度を加味した、システム全体の最適な運用を実現することができる。

本実施の形態の遠隔監視システムの概要を示す図である。 遠隔監視システムの構成の一例を示すブロック図である。 通信デバイスの接続形態の一例を示す図である。 サーバ装置の構成の一例を示すブロック図である。 消費電力量情報の一例を示す模式図である。 発電量情報の一例を示す模式図である。 季節毎の電力の需給インバランス量の推移の一例を示す模式図である。 環境温度情報の一例を示す模式図である。 寿命予測シミュレータの動作を示す模式図である。 仮想的なＳＯＣ変動の一例を示す模式図である。 ＳＯＣの特徴量の一例を示す模式図である。 売電用途向け運用例でのＳＯＣに関連する設定の一例を示す模式図である。 本実施の形態の強化学習の一例を示す模式図である。 評価値テーブルの構成の一例を示す模式図である。 行動の一例を示す模式図である。 強化学習の状態遷移の様子の一例を示す模式図である。 本実施の形態の強化学習によって得られた運用方法の一例を示す模式図である。 本実施の形態の強化学習によって得られた運用方法によるＳＯＨの推移の一例を示す模式図である。 自給自足使用用途向け運用例でのＳＯＣに関連する設定の一例を示す模式図である。 第２の例での評価値テーブルの構成の一例を示す模式図である。 本実施の形態の強化学習によって得られた第２の例の運用方法の一例を示す模式図である。 本実施の形態の強化学習の処理手順の一例を示すフローチャートである。 蓄電素子評価装置としてのサーバ装置の構成の一例を示すブロック図である。 本実施の形態のサーバ装置による蓄電素子の評価方法の処理手順の一例を示すフローチャートである。 本実施の形態のサーバ装置が生成する評価結果の一例を示す模式図である。

行動生成装置は、蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択する行動選択部と、前記行動選択部で選択した行動を実行したときの前記蓄電素子のＳＯＨを含む状態を取得する状態取得部と、前記行動選択部で選択した行動を実行したときの報酬を取得する報酬取得部と、前記状態取得部で取得した状態及び前記報酬取得部で取得した報酬に基づいて、前記行動評価情報を更新する更新部と、前記更新部で更新した行動評価情報に基づいて、前記蓄電素子の状態に対応する行動を生成する行動生成部とを備える。

コンピュータプログラムは、コンピュータに、蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択する処理と、選択した行動を実行したときの報酬及び前記蓄電素子のＳＯＨを含む状態を取得する処理と、取得した報酬が大きくなるように、前記行動評価情報を更新して、前記蓄電素子の状態に対応する行動を学習させる処理とを実行させる。

学習方法は、蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択し、選択された行動を実行したときの報酬及び前記蓄電素子のＳＯＨを含む状態を取得し、取得された報酬が大きくなるように、前記行動評価情報を更新して、前記蓄電素子の状態に対応する行動を学習する。

行動選択部は、蓄電素子のＳＯＣ（State Of Charge）に関連する設定を含む行動を、行動評価情報に基づいて選択する。行動評価情報は、強化学習において、環境のある状態での行動の評価値を定める行動価値関数又はテーブル（表）であり、Ｑ学習では、Ｑ値又はＱ関数を意味する。ＳＯＣに関連する設定は、例えば、ＳＯＣの上限値（蓄電素子の過充電を避けるため）、ＳＯＣの下限値（蓄電素子の過放電を避けるため）、蓄電素子のＳＯＣを所要値にするためのＳＯＣ調整量（蓄電素子を予め充電しておくため）などの設定を含む。行動選択部は、強化学習でのエージェントに相当し、行動評価情報において最も評価の高い行動を選択することができる。

状態取得部は、選択した行動を実行したときの蓄電素子のＳＯＨ（State Of Health）を含む状態を取得する。行動選択部によって選択された行動が実行されると、環境の状態は変化する。状態取得部は、変化した状態を取得する。

報酬取得部は、選択した行動を実行したときの報酬を取得する。報酬取得部は、行動選択部が環境に対して望ましい結果を作用させたときに高い値（正値）を取得する。報酬が０のときは、報酬なしであり、報酬が負値のときはペナルティとなる。

更新部は、取得した状態及び報酬に基づいて、行動評価情報を更新する。より具体的には、更新部は、強化学習でのエージェントに相当し、行動に対する報酬を最大化する方向へ行動評価情報を更新する。これにより、環境のある状態において最大の価値が期待される行動を学習できる。

行動生成部は、更新した行動評価情報に基づいて、蓄電素子の状態を含めたシステム運用に対応する行動を生成する。これにより、蓄電素子の様々な状態（例えば、様々なＳＯＨ）に対して、例えば、ＳＯＣに関連する設定の最適値が強化学習によって得られるので、蓄電素子を含めたシステムの最適な運用を実現することができる。

行動生成装置において、前記ＳＯＣに関連する設定は、ＳＯＣの上限値、ＳＯＣの下限値、前記蓄電素子への充電または放電に基づくＳＯＣ調整量の少なくとも一つの設定を含んでもよい。

ＳＯＣに関連する設定は、ＳＯＣの上限値、ＳＯＣの下限値、前記蓄電素子への充電または放電に基づくＳＯＣ調整量の少なくとも一つの設定を含む。なお、設定には、蓄電素子の最大電流、上下限電圧などを含んでもよい。ＳＯＣの上限値の設定は、蓄電素子に対する過充電を防止できる。ＳＯＣの下限値の設定は、蓄電素子に対する過放電を防止できる。ＳＯＣの上限値及び下限値の設定は、蓄電素子の充放電に伴って変化するＳＯＣの中心ＳＯＣ及びＳＯＣの変動幅を調整することができる。ＳＯＣの中心は、変化するＳＯＣの平均であり、ＳＯＣの変動幅は、変化するＳＯＣの最大値と最小値との差である。蓄電素子の劣化値は、ＳＯＣの中心、ＳＯＣの変動幅に応じて変化する。これにより、蓄電素子の状態（例えば、ＳＯＨ）に応じて劣化の度合いを抑制するための、ＳＯＣに関連する設定を学習することができる。

ＳＯＣ調整量は、蓄電素子を負荷に接続する前に、夜間に電力系統から蓄電素子を充電し、蓄電素子のＳＯＣを所要値にするための調整量である。例えば、ＳＯＣが２０％の蓄電素子のＳＯＣを９０％にしておく場合、ＳＯＣ調整量は７０％（＝９０−２０）となる。これにより、負荷の電力需要を満たしつつ昼から夜にかけての余剰電力を売電することができ、売電も考慮しつつ蓄電素子の劣化の度合いを抑制するための、ＳＯＣに関連する設定を学習することができる。また、電気料金の安い夜間に充電した電力を昼間に使用することにより、電気料金の高い昼間における買電を避けたシステムの運用方法も学習することができる。

行動生成装置において、前記行動は、前記蓄電素子の環境温度の設定を含んでもよい。

行動は、蓄電素子の環境温度の設定を含む。蓄電素子の環境温度に基づいて蓄電素子の温度を推定することができる。蓄電素子の劣化値は、蓄電素子の温度に応じて変化するので、蓄電素子の状態（例えば、ＳＯＨ）に応じて劣化の度合いを抑制することができる環境温度の設定を学習することができる。一方で、環境温度の調整のために電力を消費することで、コストが増大する。本開示により、このような電力消費も最小となるような環境温度設定を学習することができる。

行動生成装置は、前記蓄電素子が接続される発電設備での発電量情報を取得する発電量情報取得部と、電力需要設備での消費電力量情報を取得する消費電力量情報取得部と、前記発電量情報、前記消費電力量情報及び前記行動選択部で選択した行動に基づいて前記蓄電素子のＳＯＣの推移を推定するＳＯＣ推移推定部と、前記ＳＯＣ推移推定部で推定したＳＯＣの推移に基づいて前記蓄電素子のＳＯＨを推定するＳＯＨ推定部とを備え、前記状態取得部は、前記ＳＯＨ推定部が推定したＳＯＨを取得してもよい。

発電量情報取得部は、蓄電素子が接続される発電設備（電力系統）での発電量情報を取得する。発電量情報は、所定期間に亘る発電電力の推移を表す情報である。所定期間は、例えば、１日、１週間、１月、春夏秋冬、１年などの期間とすることができる。ここで、発電量は再生可能エネルギー又は既存の発電システムにて発電した量を指している。発電システムは、電力会社、および商業（民生）の大型の発電施設でもよく、事業所やビル、商業施設・役所・鉄道（駅舎）などの公共施設、あるいは家庭用発電システムといった小型の発電施設でもよい。

消費電力量情報取得部は、電力需要設備（電力系統）での消費電力量情報を取得する。消費電力量情報は、所定期間に亘る消費電力の推移を表す情報である。所定期間は、発電量情報の所定期間と同じ期間とすることができる。消費電力量情報は、蓄電素子を使用するユーザの要求負荷パターンを表す情報である。なお、電力系統には、発電設備及び電力需要設備が含まれる。

ＳＯＣ推移推定部は、発電量情報、消費電力量情報及び選択した行動に基づいて蓄電素子のＳＯＣの推移を推定する。所定期間において、発電電力が消費電力よりも多いときは、蓄電素子の充電が行われ、ＳＯＣは増加する。一方、発電電力が消費電力よりも少ないときは、蓄電素子の放電が行われ、ＳＯＣは減少する。所定期間においては、蓄電素子の充放電が行われないときもある（例えば、夜間など）。ＳＯＣの変動は、上限値と下限値とによって制限される。ＳＯＣ調整量によって、ＳＯＣを増加させることができる。これにより、所定期間に亘ってＳＯＣの推移を推定することができる。

ＳＯＨ推定部は、推定されたＳＯＣの推移に基づいて蓄電素子のＳＯＨを推定する。状態取得部は、ＳＯＨ推定部が推定したＳＯＨを取得する。蓄電素子の所定期間後の劣化値Ｑｄｅｇは、通電劣化値Ｑｃｕｒと非通電劣化値Ｑｃｎｄとの和で表すことができる。経過時間をｔで表すと、非通電劣化値Ｑｃｎｄは、例えば、Ｑｃｎｄ＝Ｋ１×√（ｔ）で求めることができる。ここで、係数Ｋ１は、ＳＯＣの関数である。また、通電劣化値Ｑｃｕｒは、例えば、Ｑｃｕｒ＝Ｋ２×√（ｔ）で求めることができる。ここで、係数Ｋ２は、ＳＯＣの関数である。所定期間の始点でのＳＯＨをＳＯＨ１とし、終点でのＳＯＨをＳＯＨ２とすると、ＳＯＨ２＝ＳＯＨ１−ＱｄｅｇによりＳＯＨを推定することができる。

これにより、将来の所定期間経過後のＳＯＨを推定することができる。また、推定したＳＯＨに基づいて、さらに所定期間経過後の劣化値を算出すれば、当該所定期間経過後のＳＯＨをさらに推定することができる。ＳＯＨの推定を所定期間経過毎に繰り返すことにより、蓄電素子の期待寿命（例えば、１０年、１５年など）時に蓄電素子が寿命に達しているのか否か（ＳＯＨがＥＯＬ以下であるか否か）も推定することができる。

行動生成装置は、前記蓄電素子での環境温度情報を取得する温度情報取得部を備え、前記ＳＯＨ推定部は、前記環境温度情報に基づいて前記蓄電素子のＳＯＨを推定してもよい。

温度情報取得部は、蓄電素子での環境温度情報を取得する。環境温度情報は、所定期間に亘る環境温度の推移を表す情報である。

ＳＯＨ推定部は、推定されたＳＯＣの推移及び環境温度情報に基づいて蓄電素子のＳＯＨを推定する。状態取得部は、ＳＯＨ推定部が推定したＳＯＨを取得する。蓄電素子の所定期間後の劣化値Ｑｄｅｇは、通電劣化値Ｑｃｕｒと非通電劣化値Ｑｃｎｄとの和で表すことができる。経過時間をｔで表すと、非通電劣化値Ｑｃｎｄは、例えば、Ｑｃｎｄ＝Ｋ１×√（ｔ）で求めることができる。ここで、係数Ｋ１は、ＳＯＣ及び温度Ｔの関数である。また、通電劣化値Ｑｃｕｒは、例えば、Ｑｃｕｒ＝Ｋ２×√（ｔ）で求めることができる。ここで、係数Ｋ２は、ＳＯＣ及び温度Ｔの関数である。所定期間の始点でのＳＯＨをＳＯＨ１とし、終点でのＳＯＨをＳＯＨ２とすると、ＳＯＨ２＝ＳＯＨ１−ＱｄｅｇによりＳＯＨを推定することができる。

これにより、将来の所定期間経過後のＳＯＨを推定することができる。また、推定したＳＯＨに基づいて、さらに所定期間経過後の劣化値を算出すれば、当該所定期間経過後のＳＯＨをさらに推定することができる。ＳＯＨの推定を所定期間経過毎に繰り返すことにより、蓄電素子の期待寿命（例えば、１０年、１５年など）時に蓄電素子が寿命に達しているのか否か（ＳＯＨがＥＯＬ以下であるか否か）も推定することができる。

行動生成装置は、前記発電設備又は電力需要設備への売電量に基づいて報酬を算出する報酬算出部を備え、前記報酬取得部は、前記報酬算出部で算出した報酬を取得してもよい。

報酬算出部は、発電設備又は電力需要設備への売電量に基づいて報酬を算出する。例えば、蓄電素子に蓄えられた余剰電力を積極的に売電する運用の場合には、売電量が多いほど報酬が大きい値となるように算出する。これにより、電力の売電用途向けの電力システムの最適な運用を実現することができる。

また、蓄電素子に蓄えられた余剰電力を極力売電しない運用の場合には、売電量が小さいほど報酬が大きい値となるように算出する。これにより、電力の自給自足使用用途向けの電力システムの最適な運用を実現することができる。

行動生成装置は、前記行動の実行に起因する消費電力量に基づいて報酬を算出する報酬算出部を備え、前記報酬取得部は、前記報酬算出部で算出した報酬を取得してもよい。

報酬算出部は、行動の実行に起因する消費電力量に基づいて報酬を算出する。行動の実行に起因する消費電力量は、例えば、ＳＯＣ調整量の設定、環境温度の設定などによって生じる電力消費であり、ＳＯＣ調整量、環境温度などを変数とする関数により算出することができる。例えば、ＳＯＣ調整量が大きい場合、報酬を負値（ペナルティ）とすることができる。これにより、消費電力量を抑制しつつ蓄電素子の最適な運用を実現することができる。

行動生成装置は、前記蓄電素子の状態が寿命に到達したか否かに基づいて報酬を算出する報酬算出部を備え、前記報酬取得部は、前記報酬算出部で算出した報酬を取得してもよい。

報酬算出部は、蓄電素子の状態が寿命に到達したか否かに基づいて報酬を算出する。例えば、蓄電素子のＳＯＨがＥＯＬ（End Of Life）を下回らないときは、報酬を与え、ＳＯＨがＥＯＬ以下になったときは、ペナルティを与えることができる。これにより、蓄電素子の期待寿命（例えば、１０年、１５年など）に達するような最適な運用を実現することができる。

蓄電素子評価装置は、更新済の行動評価情報を含む学習済モデルと、蓄電素子のＳＯＨを含む状態を取得する状態取得部と、前記状態取得部で取得した状態を前記学習済モデルに入力し、前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する評価生成部とを備える。

コンピュータプログラムは、コンピュータに、蓄電素子のＳＯＨを含む状態を取得する処理と、更新済の行動評価情報を含む学習済モデルに、取得した状態を入力する処理と、前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する処理とを実行させる。

評価方法は、蓄電素子のＳＯＨを含む状態を取得し、更新済の行動評価情報を含む学習済モデルに、取得した状態を入力し、前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する。

学習済モデルは、更新済、すなわち学習済の行動評価情報を含む。状態取得部で取得した蓄電素子のＳＯＨを含む状態を学習モデルに入力すると、学習モデルは、蓄電素子を含めたシステム運用に対応する行動を出力する。評価生成部は、学習モデルが出力する蓄電素子の行動に基づいて蓄電素子の評価結果を生成する。評価結果は、例えば、蓄電素子の健康度を加味した、蓄電素子を含むシステム全体の最適な運用方法を含む。

蓄電素子評価装置は、前記蓄電素子の設計パラメータを取得するパラメータ取得部を備え、前記評価生成部は、前記パラメータ取得部で取得した設計パラメータに応じて前記蓄電素子の評価結果を生成する。

評価生成部は、パラメータ取得部で取得した設計パラメータに応じて蓄電素子の評価結果を生成する。蓄電素子の設計パラメータは、システムの実際の運用に先立って、蓄電素子の種類、数、定格などのシステム設計に必要な種々のパラメータを含む。設計パラメータに応じて蓄電素子の評価結果を生成することにより、例えば、どのような設計パラメータを採用すれば、健康度を加味した、システム全体の最適な運用方法が得られるかを把握することができる。

以下、本実施の形態に係る行動生成装置及び蓄電素子評価装置を図面に基づいて説明する。図１は本実施の形態の遠隔監視システム１００の概要を示す図である。図１に示すように、ネットワークＮは、公衆通信網（例えば、インターネットなど）Ｎ１及び移動通信規格による無線通信を実現するキャリアネットワークＮ２などを含む。ネットワークＮには、火力発電システムＦ、メガソーラー発電システムＳ、風力発電システムＷ、無停電電源装置（ＵＰＳ：Uninterruptible Power Supply）Ｕ及び鉄道用の安定化電源システム等に配設される整流器（直流電源装置、又は交流電源装置）Ｄなどが接続されている。また、ネットワークＮには、後述の通信デバイス１、通信デバイス１から情報を収集し、行動生成装置としてのサーバ装置２、及び収集された情報を取得するクライアント装置３などが接続されている。

より具体的には、キャリアネットワークＮ２には基地局ＢＳが含まれる。クライアント装置３は、基地局ＢＳからネットワークＮを経由してサーバ装置２と通信することができる。また、公衆通信網Ｎ１にはアクセスポイントＡＰが接続されており、クライアント装置３は、アクセスポイントＡＰからネットワークＮを経由してサーバ装置２との間で情報を送受信することができる。

メガソーラー発電システムＳ、火力発電システムＦ及び風力発電システムＷには、パワーコンディショナ（ＰＣＳ：Power Conditioning System）Ｐ、及び蓄電システム１０１が併設されている。蓄電システム１０１は、蓄電モジュール群Ｌを収容したコンテナＣを複数並設して構成されている。蓄電モジュール群Ｌは、例えば、蓄電セル（セルとも称する）を複数直列に接続した蓄電モジュール（モジュールとも称する）と、蓄電モジュールを複数直列に接続したバンクと、バンクを複数並列に接続したドメインとの階層構造にて構成されている。蓄電素子は、鉛蓄電池及びリチウムイオン電池のような二次電池や、キャパシタのような、再充電可能なものであることが好ましい。蓄電素子の一部が、再充電不可能な一次電池であってもよい。メガソーラー発電システムＳ、火力発電システムＦ、風力発電システムＷ、パワーコンディショナＰ及び蓄電システム１０１は、不図示の送配電網を通じて電力需要設備に電力を供給する。電力系統は、蓄電システム１０１と接続される発電設備及び電力需要設備などを含む。

図２は遠隔監視システム１００の構成の一例を示すブロック図である。遠隔監視システム１００は、通信デバイス１、サーバ装置２、クライアント装置３などを備える。

図２に示すように、通信デバイス１は、ネットワークＮに接続されるとともに、対象装置Ｐ、Ｕ、Ｄ、Ｍにも接続されている。対象装置Ｐ、Ｕ、Ｄ、Ｍは、パワーコンディショナＰ、無停電電源装置Ｕ、整流器Ｄ、後述する管理装置Ｍを含む。

遠隔監視システム１００では、各対象装置Ｐ、Ｕ、Ｄ、Ｍに接続した通信デバイス１を用いて、蓄電システム１０１における蓄電モジュール（蓄電セル）の状態（例えば、電圧、電流、温度、充電状態（ＳＯＣ：State Of Charge））を監視するとともに収集する。遠隔監視システム１００は、検知された蓄電セルの状態（劣化状態、異常状態などを含む）をユーザ又はオペレータ（保守担当者）が確認できるように提示する。

通信デバイス１は、制御部１０、記憶部１１、第１通信部１２及び第２通信部１３を備える。制御部１０は、ＣＰＵ（Central Processing Unit）などで構成され、内蔵するＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリを用い、通信デバイス１全体を制御する。

記憶部１１は、例えば、フラッシュメモリ等の不揮発性メモリを用いることができる。記憶部１１には、制御部１０が読み出して実行するデバイスプログラム１Ｐが記憶されている。記憶部１１には、制御部１０の処理によって収集された情報、イベントログ等の情報が記憶される。

第１通信部１２は、対象装置Ｐ、Ｕ、Ｄ、Ｍとの通信を実現する通信インタフェースであり、例えば、ＲＳ−２３２Ｃ又はＲＳ−４８５等のシリアル通信インタフェースを用いることができる。

第２通信部１３は、ネットワークＮを経由して通信を実現するインタフェースであり、例えば、Ethernet（登録商標）、又は無線通信用アンテナ等の通信インタフェースを用いる。制御部１０は、第２通信部１３を介してサーバ装置２と通信が可能である。

クライアント装置３は、発電システムＳ、Ｆの蓄電システム１０１の管理者、対象装置Ｐ、Ｕ、Ｄ、Ｍの保守担当者等のオペレータが使用するコンピュータであってもよい。クライアント装置３は、デスクトップ型又はラップトップ型のパーソナルコンピュータであってもよいし、スマートフォン又はタブレット型の通信端末であってもよい。クライアント装置３は、制御部３０、記憶部３１、通信部３２、表示部３３、及び操作部３４を備える。

制御部３０は、ＣＰＵを用いたプロセッサである。制御部３０は、記憶部３１に記憶されているＷｅｂブラウザプログラムに基づき、サーバ装置２又は通信デバイス１により提供されるＷｅｂページを表示部３３に表示させる。

記憶部３１は、例えばハードディスク又はフラッシュメモリ等の不揮発性メモリを用いる。記憶部３１には、Ｗｅｂブラウザプログラムを含む各種プログラムが記憶されている。

通信部３２は、有線通信用のネットワークカード等の通信デバイス、基地局ＢＳ（図１参照）に接続する移動通信用の無線通信デバイス、又はアクセスポイントＡＰへの接続に対応する無線通信デバイスを用いることができる。制御部３０は、通信部３２により、ネットワークＮを介してサーバ装置２又は通信デバイス１との間で通信接続又は情報の送受信が可能である。

表示部３３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイを用いることができる。表示部３３は、制御部３０のＷｅｂブラウザプログラムに基づく処理により、サーバ装置２で提供されるＷｅｂページのイメージを表示することができる。

操作部３４は、制御部３０との間で入出力が可能なキーボード及びポインティングデバイス、若しくは音声入力部等のユーザインタフェースである。操作部３４は、表示部３３のタッチパネル、又は筐体に設けられた物理ボタンを用いてもよい。操作部３４は、ユーザによる操作情報を制御部２０へ通知する。

サーバ装置２の構成については後述する。

図３は通信デバイス１の接続形態の一例を示す図である。図３に示すように、通信デバイス１は、管理装置Ｍに接続される。管理装置Ｍには、さらに、バンク＃１〜＃Ｎそれぞれに設けられた管理装置Ｍが接続されている。なお、通信デバイス１は、バンク＃１〜＃Ｎそれぞれに設けられた管理装置Ｍと通信して蓄電素子の情報を受信する端末装置（計測モニタ）であってもよいし、電源関連装置に接続可能なネットワークカード型の通信デバイスであってもよい。

各バンク＃１〜＃Ｎは、複数の蓄電モジュール６０を備え、各蓄電モジュール６０は、制御基板（ＣＭＵ：Cell Monitoring Unit）７０を備える。バンク毎に設けられている管理装置Ｍは、蓄電モジュール６０に夫々内蔵されている通信機能付きの制御基板７０とシリアル通信によって通信を行うことができるとともに、通信デバイス１に接続された管理装置Ｍとの間で情報の送受信を行うことができる。通信デバイス１に接続された管理装置Ｍは、ドメインに所属するバンクの管理装置Ｍからの情報を集約し、通信デバイス１へ出力する。

図４はサーバ装置２の構成の一例を示すブロック図である。サーバ装置２は、制御部２０、通信部２１、記憶部２２、及び処理部２３を備える。処理部２３は、寿命予測シミュレータ２４、報酬算出部２５、行動選択部２６及び評価値テーブル２７を備える。サーバ装置２は、１台のサーバコンピュータでもよいが、代替的に、複数台のサーバコンピュータで構成してもよい。

制御部２０は、例えば、ＣＰＵで構成することができ、内蔵するＲＯＭ及びＲＡＭ等のメモリを用い、サーバ装置２全体を制御する。制御部２０は、記憶部２２に記憶されているサーバプログラム２Ｐに基づく情報処理を実行する。サーバプログラム２ＰにはＷｅｂサーバプログラムが含まれ、制御部２０は、クライアント装置３へのＷｅｂページの提供、Ｗｅｂサービスへのログインの受け付け等を実行するＷｅｂサーバとして機能する。制御部２０は、サーバプログラム２Ｐに基づき、ＳＮＭＰ（Simple Network Management Protocol）用サーバとして通信デバイス１から情報を収集することも可能である。

通信部２１は、ネットワークＮを介した通信接続及びデータの送受信を実現する通信デバイスである。具体的には、通信部２１は、ネットワークＮに対応したネットワークカードである。

記憶部２２は、例えばハードディスク又はフラッシュメモリ等の不揮発性メモリを用いることができる。記憶部２２には、制御部２０の処理によって収集される監視対象となる対象装置Ｐ、Ｕ、Ｄ、Ｍの状態を含むセンサ情報（例えば、蓄電素子の電圧データ、電流データ、温度データ）を記憶する。

記憶部２２は、蓄電システム１０１が接続される電力系統での消費電力量情報を記憶する。電力系統には、メガソーラー発電システムＳ、火力発電システムＦ及び風力発電システムＷなどの発電設備並びに電力需要設備が含まれる。消費電力量情報は、所定期間に亘る消費電力の推移を表す情報である。所定期間は、例えば、１日、１週間、１月、春夏秋冬、１年などの期間とすることができる。消費電力量情報は、蓄電システム１０１を使用するユーザの要求負荷パターンを表す情報である。なお、消費電力量情報は、例えば、バンク単位で区分して記憶しておくことができ、バンクを構成する蓄電素子（電池セル）については、バンク毎の共通の消費電力量情報を用いることができる。なお、消費電力量情報は、過去の実績、将来の予測の両方を含む。

図５は消費電力量情報の一例を示す模式図である。図５において、横軸は時間を示し、縦軸は時間帯毎の消費電力量を示す。図５では、春夏秋冬に分けて１日の消費電力量の推移が図示されている。図５に示す消費電力パターン（負荷パターンとも称する）では、朝７時から８時頃、昼頃、及び夜８時頃に電力消費のピークが表れているが、消費電力パターンは、代替的に図５の例と異なるものでもよい。

記憶部２２は、蓄電システム１０１が接続される電力系統での発電量情報を記憶する。発電量情報は、所定期間に亘る発電電力の推移を表す情報である。所定期間は、消費電力量情報と同様に、１日、１週間、１月、春夏秋冬、１年などの期間とすることができる。ここで、発電量は再生可能エネルギー又は既存の発電システムにて発電した量を指している。発電システムは、電力会社、および商業（民生）の大型の発電施設でもよく、事業所やビル、商業施設・役所・鉄道（駅舎）などの公共施設、あるいは家庭用発電システムといった小型の発電施設でもよい。なお、発電量情報は、バンク単位で区分して記憶しておくことができ、バンクを構成する蓄電素子（電池セル）については、バンク毎の共通の発電量情報を用いることができる。なお、発電量情報は、過去の実績、将来の予測の両方を含む。

図６は発電量情報の一例を示す模式図である。図６において、横軸は時間を示し、縦軸は時間帯毎の発電量を示す。なお、図６では、太陽光発電による発電量と電力消費量の両方の差がわかるように図示している。図６に示す入出力電力は夏場の場合を示す。図６に示す発電量パターンでは、昼間（特に、正午前後）に発電電のピークが表れているが、発電量パターンは、代替的に図６の例と異なるものでもよい。

図７は季節毎の電力の需給インバランス量の推移の一例を示す模式図である。図７において、横軸は時間を示し、縦軸は需給インバランス量を示す。需給インバランス量が正の場合、消費のほうが大きいことを表し、需給インバランス量が負の場合、発電のほうが大きいことを表す。図７に示すように、需給インバランスは、例えば、太陽光発電設備に併設した蓄電システム１０１の充放電によって吸収することができる。

記憶部２２は、蓄電システム１０１での環境温度情報を記憶する。環境温度情報は、所定期間に亘る環境温度の推移を表す情報である。なお、環境温度情報は、バンク単位で区分して記憶しておくことができ、バンクを構成する蓄電素子（電池セル）については、蓄電素子の配置などによって補正した環境温度を用いることができる。なお、環境温度情報は、過去の実績、将来の予測の両方を含む。例えば、将来の気象条件の予測データを加味し、推定精度を更に向上することができる。

図８は環境温度情報の一例を示す模式図である。図８において、横軸は時間を示し、縦軸は温度を示す。図８では、１日の環境温度の推移が図示されている。図８に示す温度パターンでは、昼間は温度が若干高く、夜間は低くなっているが、温度パターンは、代替的に図８の例と異なるものでもよい。

処理部２３は、記憶部２２のデータベースに収集された蓄電素子（蓄電モジュール、蓄電セル）のセンサ情報（時系列の電圧データ、時系列の電流データ、時系列の温度データ）を、蓄電素子毎に区分して取得することができる。

処理部２３は、上述の消費電力量情報、発電量情報及び環境温度情報を記憶部２２から取得することができる。

処理部２３において、報酬算出部２５、行動選択部２６及び評価値テーブル２７は、強化学習を行う機能を構成する。処理部２３は、寿命予測シミュレータ２４が出力する蓄電素子の劣化値（蓄電素子のＳＯＨ（State Of Health）に置き換えることが可能）を用いて強化学習させることにより、蓄電素子の期待寿命（例えば、１０年、１５年など）に達するような最適な運用条件を求めることができる。以下、処理部２３の詳細について説明する。

図９は寿命予測シミュレータ２４の動作を示す模式図である。寿命予測シミュレータ２４は、負荷パターン（消費電力量情報）、発電量パターン（発電量情報）及び温度パターン（環境温度情報）を入力データとして取得する。寿命予測シミュレータ２４は、蓄電素子のＳＯＣ推移を推定するとともに、蓄電素子の劣化値を推定（算出）する。また、寿命予測シミュレータ２４は、行動選択部２６が選択した行動を取得し、蓄電素子のＳＯＣ推移を推定するとともに、蓄電素子の劣化値を推定することができる。

劣化値は、時点ｔでのＳＯＨ（健康度ともいう）をＳＯＨ_t とし、時点ｔ＋１でのＳＯＨをＳＯＨ_t+1 とすると、劣化値は（ＳＯＨ_t −ＳＯＨ_t+1 ）となる。ここで、時点は、現在又は将来のある時点とすることができ、時点ｔ＋１は、時点ｔから将来に向かって所要の時間が経過した時点とすることができる。時点ｔと時点ｔ＋１との時間差は、寿命予測シミュレータ２４の寿命予測対象期間であり、どの程度の将来に対して寿命を予測するかに応じて適宜設定することができる。時点ｔと時点ｔ＋１との時間差は、例えば、１か月、半年、１年、２年などの所要の時間とすることができる。

また、負荷パターン、発電量パターン又は温度パターンの始点から終点までの期間が、寿命予測シミュレータ２４の寿命予測対象期間よりも短い場合には、例えば、負荷パターン、発電量パターン又は温度パターンを寿命予測対象期間に亘って繰り返し用いることができる。

寿命予測シミュレータ２４は、ＳＯＣ推移推定部としての機能を有し、発電量パターン、負荷パターン及び行動選択部２６が選択した行動に基づいて蓄電素子のＳＯＣの推移を推定する。寿命予測対象期間において、発電電力が消費電力よりも多いときは、蓄電素子の充電が行われ、ＳＯＣは増加する。一方、発電電力が消費電力よりも少ないときは、蓄電素子の放電が行われ、ＳＯＣは減少する。寿命予測対象期間においては、蓄電素子の充放電が行われないときもある（例えば、夜間など）。また、ＳＯＣの変動は、ＳＯＣの上限値と下限値とによって制限される。また、ＳＯＣ調整量によって、ＳＯＣを増加させることができる。これにより、寿命予測シミュレータ２４は、寿命予測対象期間に亘ってＳＯＣの推移を推定することができる。

図１０は仮想的なＳＯＣ変動の一例を示す模式図である。図１０において、横軸は時間を示し、縦軸はＳＯＣを示す。図１０に示す季節毎のＳＯＣ変動は、図７に例示した季節毎の需給インバランスを吸収すべく蓄電素子の充放電を行った結果のＳＯＣの推移に相当する。なお、図１０では、便宜上、行動選択部２６が選択した行動は省略している。

図１１はＳＯＣの特徴量の一例を示す模式図である。図１１において、横軸は時間を示し、縦軸はＳＯＣを示す。図中、ＳＯＣの変動は、便宜上、正弦波状としているが、実際のＳＯＣの変動は正弦波状にならない場合がある。始点は時点ｔとすることができ、終点は時点ｔ＋１とすることができる。ＳＯＣの特徴量は、蓄電素子の劣化（又はＳＯＨ）に影響を与えるものであり、例えば、ＳＯＣ平均（中心ＳＯＣとも称する）、ＳＯＣ変動幅などを含む。中心ＳＯＣは、始点から終点までの間のＳＯＣの値をサンプリングして合計した値をサンプリング数で除算した値である。ＳＯＣ変動幅は、始点から終点までの間のＳＯＣの最大値と最小値との差である。

寿命予測シミュレータ２４は、蓄電素子の環境温度に基づいて蓄電素子の温度を推定することができる。

寿命予測シミュレータ２４は、ＳＯＨ推定部としての機能を有し、推定したＳＯＣの推移及び蓄電素子の温度に基づいて蓄電素子のＳＯＨを推定する。蓄電素子の寿命予測対象期間（例えば、時点ｔから時点ｔ＋１まで）経過後の劣化値Ｑｄｅｇは、式（１）により算出することができる。

ここで、Ｑｃｎｄは非通電劣化値であり、Ｑｃｕｒは通電劣化値である。式（１）に示すように、非通電劣化値Ｑｃｎｄは、例えば、Ｑｃｎｄ＝Ｋ１×√（ｔ）で求めることができる。ここで、係数Ｋ１は、ＳＯＣ及び温度Ｔの関数である。ｔは経過時間であり、例えば、時点ｔから時点ｔ＋１までの時間である。また、通電劣化値Ｑｃｕｒは、例えば、Ｑｃｕｒ＝Ｋ２×√（ｔ）で求めることができる。ここで、係数Ｋ２は、ＳＯＣ及び温度Ｔの関数である。時点ｔでのＳＯＨをＳＯＨ_ｔとし、時点ｔ＋でのＳＯＨをＳＯＨ_t+1 とすると、ＳＯＨ_t+1＝ＳＯＨ_ｔ−ＱｄｅｇによりＳＯＨを推定することができる。

係数Ｋ１は、劣化係数であり、ＳＯＣ及び温度Ｔと係数Ｋ１との対応関係を演算で求めてもよく、あるいはテーブル形式で記憶しておくことができる。ここで、ＳＯＣは、例えば、中心ＳＯＣ、ＳＯＣ変動幅などの特徴量を含む。係数Ｋ２についても、係数Ｋ１と同様である。

上述のように、寿命予測シミュレータ２４は、将来の寿命予測対象期間経過後のＳＯＨを推定することができる。また、推定したＳＯＨに基づいて、さらに寿命予測対象期間経過後の劣化値を算出すれば、当該寿命予測対象期間経過後のＳＯＨをさらに推定することができる。ＳＯＨの推定を寿命予測対象期間経過毎に繰り返すことにより、蓄電素子の期待寿命（例えば、１０年、１５年など）時に蓄電素子が寿命に達しているのか否か（ＳＯＨがＥＯＬ以下であるか否か）も推定することができる。

電力系統システムの運用形態として、以下の二つの仮想的な例を考える。第１の例は、夜間に電力系統から蓄電システム１０１に充電（補充電）し、昼から夜にかけて余剰電力を売電する形態（電力の売電用途向け運用例）であり、第２の例は、需給インバランス量をすべて蓄電システム１０１に吸収させて売電及び買電を一切しない形態（電力の自給自足使用用途向け運用例）である。まず、第１の例の電力の売電用途向け運用例における運用方法の強化学習について説明する。

図１２は売電用途向け運用例でのＳＯＣに関連する設定の一例を示す模式図である。図１２において、横軸は時間を示し、縦軸はＳＯＣを示し、０時から２４時までの１日の季節毎のＳＯＣの推移を表す。図１２において、夜間には、電力系統から蓄電システム１０１を充電（補充電）し、蓄電素子のＳＯＣを所要値にすべくＳＯＣ調整量の設定が行われている。また、余剰電力を売電するために、ＳＯＣの上限値と下限値との範囲を狭くしている。具体的には、ＳＯＣの下限値を大きい値に設定して蓄電素子の残存容量が少なくならないようにしている。本実施の形態での強化学習は、例えば、行動として、どのようなＳＯＣに関連する設定を行えば最適な運用方法となるかを学習することである。以下、強化学習の詳細について説明する。

図１３は本実施の形態の強化学習の一例を示す模式図である。強化学習は、ある環境下に置かれたエージェントが環境に対して行動をし、得られる報酬が最大化されるような方策（エージェントが行動する際の指標となるルール）を求める機械学習アルゴリズムである。強化学習において、エージェントは、環境に対して行動を起こす学習者のようなものであり、学習対象である。環境は、エージェントの行動に対して状態の更新と報酬の付与を行う。行動は、環境のある状態に対してエージェントが取ることができる行動である。状態は、環境が保持する環境の様子である。報酬は、エージェントが環境に対して望ましい結果を作用させたときにエージェントに付与される。報酬は、例えば、正、負、０の値とすることができ、正の場合は報酬そのものであり、負の場合はペナルティとなり、０の場合は報酬なしとなる。また、行動評価関数は、ある状態での行動の評価値を定める関数であり、表のようなテーブル形式で表すこともでき、Ｑ学習においては、Ｑ関数、Ｑ値、評価値などという。Ｑ学習は、強化学習の中でよく用いられている手法の一つである。以下では、Ｑ学習について説明するが、強化学習は代替的にＱ学習と異なるものでもよい。

本実施の形態の処理部２３においては、寿命予測シミュレータ２４及び報酬算出部２５が、環境に相当し、行動選択部２６及び評価値テーブル２７がエージェントに相当する。評価値テーブル２７は、上述のＱ関数に相当するものであり、行動評価情報ともいう。

行動選択部２６は、評価値テーブル２７に基づいて蓄電素子のＳＯＨ（State Of Health）を含む状態に対するＳＯＣに関連する設定を含む行動を選択する。図１３の例では、行動選択部２６は、寿命予測シミュレータ２４から時点ｔでの状態ｓ_ｔ（例えば、ＳＯＨ_ｔ）を取得し、行動ａ_ｔを選択して出力している。ＳＯＣに関連する設定は、前述のとおり、例えば、ＳＯＣの上限値（蓄電素子の過充電を避けるため）、ＳＯＣの下限値（蓄電素子の過放電を避けるため）、蓄電素子のＳＯＣを所要値にするためのＳＯＣ調整量（蓄電素子を予め充電しておくため）などの設定を含む。行動選択部２６は、評価値テーブル２７において、最も評価の高い（例えば、Ｑ値が最も大きい）行動を選択することができる。

行動選択部２６は、状態取得部としての機能を有し、選択した行動を実行したときの蓄電素子の状態を取得する。行動選択部２６によって選択された行動が寿命予測シミュレータ２４で実行されると環境の状態は変化する。具体的には、寿命予測シミュレータ２４は、時点ｔ＋１での状態ｓ_t+1（例えば、ＳＯＨ_t+1）を出力し、状態はｓ_ｔからｓ_t+1に更新される。行動選択部２６は、更新された状態を取得する。行動選択部２６は、報酬取得部としての機能を有し、報酬算出部２５が算出した報酬を取得する。

報酬算出部２５は、選択した行動が実行されたときの報酬を算出する。行動選択部２６が寿命予測シミュレータ２４に対して望ましい結果を作用させたときに高い値（正値）が算出される。報酬が０のときは、報酬なしであり、報酬が負値のときはペナルティとなる。図１３の例では、報酬算出部２５は、報酬ｒ_t+1を行動選択部２６に付与している。

報酬算出部２５は、電力系統への売電量に基づいて報酬を算出してもよい。例えば、蓄電素子に蓄えられた余剰電力を積極的に売電する運用の場合には、売電量が多いほど報酬が大きい値となるように算出する。これにより、電力の売電用途向けの電力システムの最適な運用を実現することができる。

報酬算出部２５は、行動の実行に起因する消費電力量に基づいて報酬を算出してもよい。行動の実行に起因する消費電力量は、例えば、ＳＯＣ調整量の設定、環境温度の設定などによって生じる電力消費であり、ＳＯＣ調整量、環境温度などを変数とする関数により算出することができる。例えば、ＳＯＣ調整量が大きい場合、報酬を負値（ペナルティ）とすることができる。これにより、消費電力量を抑制しつつ蓄電素子の最適な運用を実現することができる。

報酬算出部２５は、蓄電素子の状態が寿命に到達したか否かに基づいて報酬を算出してもよい。例えば、蓄電素子のＳＯＨがＥＯＬ（End Of Life）を下回らないときは、報酬を与え、ＳＯＨがＥＯＬ以下になったときは、ペナルティを与えることができる。これにより、蓄電素子の期待寿命（例えば、１０年、１５年など）に達するような最適な運用を実現することができる。

行動選択部２６は、更新部としての機能を有し、取得した状態ｓ_t+1及び報酬ｒ_t+1に基づいて、評価値テーブル２７を更新する。より具体的には、行動選択部２６は、行動に対する報酬を最大化する方向へ評価値テーブル２７を更新する。これにより、環境のある状態において最大の価値が期待される行動を学習できる。

上述の処理を繰り返して、評価値テーブル２７の更新を繰り返すことにより、報酬を最大化できる評価値テーブル２７を学習することができる。

処理部２３は、行動生成部としての機能を有し、更新した評価値テーブル２７（すなわち学習済の評価値テーブル２７）に基づいて、蓄電素子の状態を含めたシステム運用に対応する行動（具体的には、運用情報）を生成する。これにより、蓄電素子の様々な状態（例えば、様々なＳＯＨ）に対して、例えば、ＳＯＣに関連する設定の最適値が強化学習によって得られるので、蓄電素子を含めたシステムの最適な運用を実現することができる。

Ｑ学習でのＱ関数の更新は、式（２）により行うことができる。

ここで、Ｑは、状態ｓでの行動ａの評価を格納する関数又はテーブル（例えば、評価値テーブル２７）であり、例えば、各状態ｓを行、各行動ａを列とする行列形式で表すことができる。

図１４は評価値テーブル２７の構成の一例を示す模式図である。図１４に示すように、評価値テーブル２７は、各状態（図１４の例では、蓄電素子のＳＯＨとして、ＳＯＨ１、ＳＯＨ２、…、ＳＯＨｓ）と、各行動（図１４の例では、ＳＯＣ調整量の設定として、ＳＯＣ１、ＳＯＣ２、…、ＳＯＣｎ）とで構成される行列形式であり、各状態での行動の評価（図１４の例では、Ｑ１１、Ｑ１２、…、Ｑｓｎ）が格納されている。評価値テーブル２７は、ある状態ｓのときに取り得る行動ａを実行したときの評価値を示す。ＳＯＣ調整量は、ＳＯＣの上限値と下限値との範囲内で適宜設定することができ、例えば、５０％、５１％、５２％の如く１％間隔で設定してもよく、あるいは５％間隔で設定してもよい。

式（２）において、ｓ_ｔは時点ｔでの状態を示し、ａ_ｔは状態ｓ_ｔで取ることができる行動を示し、αは学習率（ただし、０＜α＜１）を示し、γは割引率（ただし、０＜γ＜１）を示す。学習率αは学習係数とも称され、学習の速度（ステップサイズ）を決定するパラメータである。すなわち、学習率αは評価値テーブル２７の更新量を調整するパラメータである。割引率γは、評価値テーブル２７を更新する際に、未来の状態の評価（報酬又はペナルティ）をどれだけ割り引いて考慮するかを決定するパラメータである。すなわち、ある状態での評価が、過去の状態での評価と繋がっている場合、どの程度報酬やペナルティを割り引くかを定めるパラメータである。

式（２）において、ｒ_t+1 は行動の結果得られた報酬であり、報酬が得られない場合は０となり、ペナルティの場合は負値となる。Ｑ学習では、式（２）の第２項、{ｒ_t+1 ＋γ・ｍａｘＱ（ｓ_t+1 ,ａ_t+1 ）−Ｑ（ｓ_t ,ａ_t ）}が０になるように、すなわち、評価値テーブル２７の値Ｑ（ｓ_t ,ａ_t ）が、報酬（ｒ_t+1 ）と、次の状態ｓ_t+1 で可能な行動の中で最大の価値（γ・ｍａｘＱ（ｓ_t+1 ,ａ_t+1 ））との和になるように評価値テーブル２７を更新する。報酬の期待値と現在の行動評価との誤差を０に近づけるように評価値テーブル２７が更新される。別言すれば、（γ・ｍａｘＱ（ｓ_t+1 ,ａ_t+1 ））の値は、現在のＱ（ｓ_t ,ａ_t ）の値と、行動ａ_tを実行した後の状態状態ｓ_t+1 で実行可能な行動の中で得られる最大の評価値に基づいて修正される。

ある状態において行動を実行したときに、必ず報酬が得られるとは限らない。例えば、行動を何回か繰り返した後に報酬が得られる場合もある。式（３）は、報酬が得られたときのＱ関数の更新式を表し、式（４）は報酬が得られなかったときのＱ関数の更新式を表す。

Ｑ学習の初期の状態では、評価値テーブル２７のＱ値は、例えば、乱数で初期化することができる。Ｑ学習の初期段階で一旦報酬の期待値に差が生じると、未だ経験したことがない状態に遷移することができず、目標に到達することができない事態が起こり得る。そこで、ある状態に対する行動を決定する場合に、確率εを用いることができる。具体的には、ある確率εで全ての行動の中からランダムに行動を選択して実行し、確率（１−ε）でＱ値が最大の行動を選択して実行することができる。これにより、Ｑ値の初期状態によらず適切に学習を進めることができる。

ＳＯＣ調整量は、蓄電素子を負荷に接続する前に、夜間に電力系統から蓄電素子を充電し、蓄電素子のＳＯＣを所要値にするための調整量である。例えば、ＳＯＣが２０％の蓄電素子のＳＯＣを９０％にしておく場合、ＳＯＣ調整量は７０％（＝９０−２０）となる。これにより、負荷の電力需要を満たしつつ昼から夜にかけての余剰電力を売電することができ、売電も考慮しつつ蓄電素子の劣化の度合いを抑制することができるＳＯＣに関連する設定を学習することができる。また、電気料金の安い夜間に充電した電力を昼間に使用することにより、電気料金の高い昼間における買電を避けたシステムの運用方法も学習することができる。

図１４の例では、行動としてＳＯＣ調整量の設定について説明したが、行動には代替的にＳＯＣ調整量以外のものも含まれる。

図１５は行動の一例を示す模式図である。図１５に示すように、行動は、ＳＯＣ調整量の設定の他に、環境温度設定、ＳＯＣ上限値の設定、ＳＯＣ下限値の設定などを含めることができる。環境温度の設定は、例えば、１℃の間隔で設定してもよく、あるいは５℃の間隔で設定してもよい。温度の間隔は適宜設定することができる。環境温度を設定すると、蓄電素子の環境温度に基づいて蓄電素子の温度を推定することができる。蓄電素子の劣化値は、蓄電素子の温度に応じて変化するので、蓄電素子の状態（例えば、ＳＯＨ）に応じて劣化の度合いを抑制することができる環境温度の設定を学習することができる。一方で、環境温度の調整のために電力を消費することで、コストが増大する。本実施の形態により、このような電力消費も最小となるような環境温度設定を学習することができる。

ＳＯＣの上限値及び下限値の設定は、適宜の値とすることができる。また、設定値の間隔は、例えば、１％の間隔で設定してもよく、あるいは５％の間隔で設定してもよい。ＳＯＣの上限値の設定は、蓄電素子に対する過充電を防止できる。ＳＯＣの下限値の設定は、蓄電素子に対する過放電を防止できる。ＳＯＣの上限値及び下限値の設定は、蓄電素子の充放電に伴って変化するＳＯＣの中心ＳＯＣ及びＳＯＣの変動幅を調整することができる。ＳＯＣの中心は、変化するＳＯＣの平均であり、ＳＯＣの変動幅は、変化するＳＯＣの最大値と最小値との差である。蓄電素子の劣化値は、ＳＯＣの中心、ＳＯＣの変動幅に応じて変化するので、蓄電素子の状態（例えば、ＳＯＨ）に応じて劣化の度合いを抑制することができるＳＯＣに関連する設定を学習することができる。

行動には、ＳＯＣ調整量、ＳＯＣ上限値、ＳＯＣの下限値及び環境温度の少なくとも一つを含めることができる。すなわち、行動は、ＳＯＣ調整量、ＳＯＣ上限値、ＳＯＣの下限値及び環境温度の一部の組み合わせでもよく、全部の組み合わせでもよい。また、行動には、蓄電素子の最大電流値、上下限電圧値などの設定を含んでもよい。

また、図１４の例では、状態としてＳＯＨについて説明したが、状態には代替的にＳＯＨ以外のものも含まれる。例えば、天気予報（晴れ、曇り、雨など）又は季節（春、夏、秋、冬）などを含めることができる。天気予報については、乱数等によってランダムに遷移させることができる。また、季節は期間毎に遷移させることができる。

図１６は強化学習の状態遷移の様子の一例を示す模式図である。図１６では、便宜上、時点ｔ０、ｔ１、ｔ２、…、ｔ７の８個の時点を図示している。実際の強化学習では、時点の数には代替的に図１６の例以外のものも含まれる。符号Ａ、Ｂ、Ｃは学習過程の一例を示し、符号Ａの学習は、時点ｔ７において、ＳＯＨがＥＯＬに達していない場合（時点毎に行動が選択されて実行された結果の状態）を示し、符号Ｂの学習は、時点ｔ６ではＳＯＨがＥＯＬに達していなかったが時点ｔ７ではＥＯＬを下回った場合を示し、符号Ｃの学習は、時点ｔ５でＳＯＨがＥＯＬを下回り、一旦学習が終了した場合を示す。強化学習により、符号Ｂ及びＣで学習した行動は採用されず、符号Ａで学習した行動を運用方法の一例として採用することになる。

図１７は本実施の形態の強化学習によって得られた運用方法の一例を示す模式図である。便宜上、図１７では０時から２４時までの１日の運用方法を図示しているが、期間には代替的に１日以外のものも含まれる。例えば、１週間、１か月、３か月、６か月、１年などでもよい。また、図１７に示すような運用方法は、ユーザの負荷パターン等に応じて適宜変化する。図１７の例では、蓄電素子のＳＯＨが期待寿命（例えば、１０年、１５年）に達するような運用方法を示している。すなわち、ＳＯＣの上限値とＳＯＣの下限値との範囲を比較的狭くし（ＳＯＣの下限値を比較的大きな値とし）、蓄電素子の放電量を抑制しつつ、夜間に電力系統から蓄電素子に充電し（ＳＯＣ調整量の設定）、蓄電素子が負荷に接続されて使用される時点でのＳＯＣの低下を抑制して、余剰電力をできるだけ多く売電できる。図中、ＳＯＣの推移のうち、上限ＳＯＣを超えた部分（斜線の部分）が売電量に相当する。

図１８は本実施の形態の強化学習によって得られた運用方法によるＳＯＨの推移の一例を示す模式図である。図１８の例では、期待寿命は１０年としている。図１８中、実線で示すグラフは本実施の形態によるものであり、破線で示すグラフは比較例として売電価格を優先した場合及び健康度を優先した場合を示す。売電価格を優先した場合、蓄電素子の健康度について考慮されていないため、期待寿命に到達することができない場合がある。また、健康度を優先した場合、期待寿命は十分に達することができるが、売電量が過剰に小さく、買電量が過剰に大きくなる可能性がある。本実施の形態では、蓄電素子のＳＯＨ低下を考慮しているので、蓄電素子の期待寿命を達成しつつ売電量を増やすことができる最適な運用を行うことができる。なお、システムの運用形態はユーザに応じて異なるので、仮にユーザが蓄電素子の健康度を優先する場合には、図１８の健康度を優先する運用方法を用いることができ、運用方法についてのユーザの選択肢を広げることができる。

次に、第２の例の電力の自給自足使用用途向け運用例における運用方法の強化学習について説明する。

図１９は自給自足使用用途向け運用例でのＳＯＣに関連する設定の一例を示す模式図である。図１９において、横軸は時間を示し、縦軸はＳＯＣを示し、０時から２４時までの１日の季節毎のＳＯＣの推移を表す。図１９においては、余剰電力を蓄電システム１０１に充電し、不足電力を蓄電システム１０１から供給し、余剰電力の売電は極力行わないように、ＳＯＣの上限値と下限値との範囲を広くしている。具体的には、ＳＯＣの下限値をできるだけ小さい値に設定して蓄電素子の容量をできるだけ使用するようにしている。また、電力系統からの蓄電システム１０１への充電（補充電）は行わない。本実施の形態での強化学習は、例えば、行動として、どのようなＳＯＣに関連する設定を行えば最適な運用方法となるかを学習することである。以下、強化学習の詳細のうち、前述の第１の例と異なる点について説明する。

第２の例では、行動としては、ＳＯＣの上限値の設定、ＳＯＣの下限値の設定を用いることができる。

図２０は第２の例での評価値テーブル２７の構成の一例を示す模式図である。図２０に示すように、評価値テーブル２７は、各状態（図２０の例では、蓄電素子のＳＯＨとして、ＳＯＨ１、ＳＯＨ２、…、ＳＯＨｓ）と、各行動（図２０の例では、ＳＯＣの上限値ＵＬとＳＯＣの下限値ＤＬとの組み合わせの設定として、ＵＬ１とＤＬ１、ＵＬ２とＤＬ２、ＵＬ３とＤＬ３、…、ＵＬｎとＤＬｎ）とで構成される行列形式であり、各状態での行動の評価（図２０の例では、Ｑ１１、Ｑ１２、…、Ｑｓｎ）が格納されている。ＳＯＣの上限値及び下限値は適宜設定することができ、例えば、１％間隔で設定することができる。

第２の例では、報酬算出部２５は、電力系統への売電量に基づいて報酬を算出してもよい。第２の例では、蓄電素子に蓄えられた余剰電力を極力売電しない運用であるので、売電量が小さいほど報酬が大きい値となるように算出する。これにより、電力の自給自足使用用途向けの電力システムの最適な運用を実現することができる。

報酬算出部２５は、行動の実行に起因する消費電力量に基づいて報酬を算出してもよい。行動の実行に起因する消費電力量は、例えば、ＳＯＣの上限値及び下限値の設定などによって生じる電力消費である。また、下限ＳＯＣの設定値が高いことで、電力需要に対して蓄電素子がシステムへ電力を供給できないことによって生じる電力消費も例として挙げられる。報酬算出部２５は、消費電力が小さいほど報酬が大きい値となるように算出することができる。これにより、消費電力量を抑制しつつ蓄電素子の最適な運用を実現することができる。

図２１は本実施の形態の強化学習によって得られた第２の例の運用方法の一例を示す模式図である。便宜上、図２１では０時から２４時までの１日の運用方法を図示しているが、期間には代替的に１日以外のものも含まれる。例えば、１週間、１か月、３か月、６か月、１年などでもよい。また、図２１に示すような運用方法は、ユーザの負荷パターン等に応じて適宜変化する。図２１の例では、蓄電素子のＳＯＨが期待寿命（例えば、１０年、１５年）に達するような運用方法を示している。すなわち、蓄電素子のＳＯＨが期待寿命に達する程度に、ＳＯＣの上限値とＳＯＣの下限値との範囲を比較的広くし（ＳＯＣの下限値を比較的小さい値とし）、過放電及び過充電とならないように蓄電素子の充放電を積極的に行って、余剰電力をできるだけ少なくしつつ不足電力を供給する。図中、ＳＯＣの推移のうち、上限ＳＯＣを超えた部分（斜線の部分）が売電量に相当する。

次に、本実施の形態の強化学習の処理について説明する。

図２２は本実施の形態の強化学習の処理手順の一例を示すフローチャートである。処理部２３は、評価値テーブル２７の評価値（Ｑ値）を初期値に設定する（Ｓ１１）。初期値の設定は、例えば、乱数を用いることができる。処理部２３は、状態ｓ_t を取得し（Ｓ１２）、状態ｓ_t で取ることのできる行動ａ_t を選択して実行する（Ｓ１３）。処理部２３は、行動ａ_t の結果得られる状態ｓ_t+1 を取得し（Ｓ１４）、報酬ｒ_t+1 を取得する（Ｓ１５）。なお、報酬は０（報酬なし）の場合もある。

処理部２３は、前述の式（３）又は式（４）を用いて、評価値テーブル２７の評価値を更新し（Ｓ１６）、処理を終了するか否かを判定する（Ｓ１７）。ここで、処理を終了するか否かは、評価値テーブル２７の評価値の更新を所定回数行ったか否かによって判定してもよく、あるいは状態ｓ_t+1 が所定の状態（例えば、蓄電素子のＳＯＨがＥＯＬに達した状態）に至ったか否か等で判定することができる。

処理を終了しない場合（Ｓ１７でＮＯ）、処理部２３は、状態ｓ_t+1 を状態ｓ_t とし（Ｓ１８）、ステップＳ１３以降の処理を続ける。処理を終了する場合（Ｓ１７でＹＥＳ）、処理部２３は、処理を終了する。なお、図２２に示す処理は、繰り返し行うことができる。また、図２２に示す処理は、蓄電素子のシステム設計パラメータを変更する都度、変更されたシステム設計パラメータを用いて繰り返し実施することができる。蓄電素子のシステム設計パラメータの詳細は後述する。

処理部２３は、例えば、ＣＰＵ（例えば、複数のプロセッサコアを実装したマルチ・プロセッサなど）、ＧＰＵ（Graphics Processing Units）、ＤＳＰ（Digital Signal Processors）、ＦＰＧＡ（Field-Programmable Gate Arrays）などのハードウェアを組み合わせることによって構成することができる。処理部２３は、仮想マシン又は量子コンピュータなどで構成してもよい。エージェントは、コンピュータ上に存在する仮想的なマシンであり、エージェントの状態はパラメータ等によって変更される。

本実施の形態の制御部２０及び処理部２３は、ＣＰＵ（プロセッサ）、ＧＰＵ、ＲＡＭ（メモリ）などを備えた汎用コンピュータを用いて実現することもできる。例えば、図４に示すような記録媒体ＭＲ（例えば、ＣＤ−ＲＯＭ等の光学可読ディスク記憶媒体）に記録されたコンピュータプログラムやデータ（例えば、学習済のＱ関数又はＱ値など）を記録媒体読取部２３１（例えば、光学ディスクドライブ）で読み取ってＲＡＭに格納することができる。ハードディスク（図示しない）に格納しコンピュータプログラム実行時にＲＡＭに格納してもよい。図２２及び後述の図２４に示すような、各処理の手順を定めたコンピュータプログラムをコンピュータに備えられたＲＡＭ（メモリ）にロードし、コンピュータプログラムをＣＰＵ（プロセッサ）で実行することにより、コンピュータ上で制御部２０及び処理部２３を実現することができる。本実施の形態による強化学習アルゴリズムを定めたコンピュータプログラム及び強化学習によって得られたＱ関数又はＱ値は記録媒体に記録され流通されてもよく、あるいは、ネットワークＮ及び通信デバイス１経由で遠隔監視の対象装置Ｐ、Ｕ、Ｄ、Ｍや端末装置に配信されインストールされてもよい。

上述の実施の形態では、寿命予測シミュレータ２４を用いる構成であったが、寿命予測シミュレータ２４の代わりに、代替的に実測データを用いる構成でもよい。例えば、状態ｓ_t から状態ｓ_t+1 までの蓄電素子の時系列データ（例えば、電流値、電圧値、温度の時系列データ）を取得して強化学習を行い、Ｑ関数又はＱ値を更新するようにしてもよい。この場合、電流値の時系列データに基づいて、ＳＯＣの時系列データを求めることができ、求めたＳＯＣの時系列データに基づいてＳＯＨを推定することができる。一方で、ＳＯＨに対して、この推定値の代わりに、実測値を用いてもよい。また、温度の時系列データに基づいて、例えば、平均温度の推移を求めることができ、平均温度の推移を考慮したＳＯＨを求めることもできる。

上述の実施の形態では、強化学習の一例として、Ｑ学習について説明したが、代替的に、別のＴＤ学習（Temporal Difference Learning）などの他の強化学習アルゴリズムを用いてもよい。例えば、Ｑ学習のように、行動の価値を更新するのではなく状態の価値の更新を行う学習方法を用いてもよい。この方法では、現在の状態Ｓｔの価値Ｖ（ｓ_t ）を、Ｖ（ｓ_t ）＜−Ｖ（ｓ_t ）＋α・δｔという式で更新する。ここで、δｔ＝r_t+1 ＋γ・Ｖ（ｓ_t+1 ）−Ｖ（ｓ_t ）であり、αは学習率、δｔはＴＤ誤差である。

上述の実施の形態では、行動評価関数（Ｑ関数）の例として評価値テーブル２７を用いる構成であったが、状態数が大きくなるとテーブルでＱ関数を表すことが現実的でない場合もある。代替的に、強化学習と深層学習の手法を組み合わせた深層強化学習を用いることもできる。例えば、ニューラルネットワークの入力層のニューロンの数を状態の数と等しくし、出力層のニューロンの数を行動の選択肢の数と等しくする。出力層は、状態ｓで行動ａを実行した場合に、その後得られる報酬の総計を出力する。そして、ニューラルネットワークの出力が、例えば、{ｒ_t+1 ＋γ・ｍａｘＱ（ｓ_t+1 ,ａ_t+1 ）}の値に近くなるようにニューラルネットワークの重みを学習すればよい。

前述の学習方法を用いて学習した学習済モデルを用いて、蓄電素子の健康度を加味した、システム全体の最適な運用方法を提案することができる。以下、この点について具体的に説明する。

図２３は蓄電素子評価装置としてのサーバ装置２の構成の一例を示すブロック図である。図４に例示したサーバ装置２との相違点は、蓄電素子評価装置としてのサーバ装置２（処理部２３）は、報酬算出部２５を具備していない点、及び学習済モデルとしての行動選択部２６及び評価値テーブル２７を具備する点である。すなわち、評価値テーブル２７は、前述の学習方法によって更新済、すなわち学習済である。なお、図２３のサーバ装置２も、１台のサーバコンピュータで構成することができるが、代替的に、複数台のサーバコンピュータで構成してもよい。また、報酬算出部２５を備えてもよい。

図２４は本実施の形態のサーバ装置２による蓄電素子の評価方法の処理手順の一例を示すフローチャートである。処理部２３は、蓄電素子のシステム設計パラメータを取得する（Ｓ２１）。蓄電素子のシステム設計パラメータは、システム全体の中で用いられる蓄電素子の種類、数、定格などを含み、例えば、蓄電モジュールの構成又は数、バンクの構成又は数などのシステム設計に必要な種々のパラメータを含む。蓄電素子の設計パラメータは、システムの実際の運用に先立って、予め設定される。

処理部２３は、状態ｓ_t を取得し（Ｓ２２）、学習済の評価値テーブル２７に基づいて、状態ｓ_t に対する行動を出力する（Ｓ２３）。処理部２３は、状態ｓ_t+1 を取得し（Ｓ２４）、蓄電素子のシステムの運用結果が得られたか否かを判定する（Ｓ２５）。運用結果が得られていない場合（Ｓ２５でＮＯ）、処理部２３は、状態ｓ_t+1 を状態ｓ_t とし（Ｓ２６）、ステップＳ２３以降の処理を続ける。

蓄電素子のシステムの運用結果が得られた場合（Ｓ２５でＹＥＳ）、処理部２３は、他のシステム設計パラメータがあるか否かを判定し（Ｓ２７）、他のシステム設計パラメータがある場合（Ｓ２７でＹＥＳ）、システム設計パラメータを変更し（Ｓ２８）、ステップＳ２１以降の処理を続ける。他のシステム設計パラメータがない場合（Ｓ２７でＮＯ）、処理部２３は、蓄電素子の評価結果を出力し（Ｓ２９）、処理を終了する。

上述のように、処理部２３は、蓄電素子のＳＯＨを含む状態ｓ_t+1を取得して学習モデルに入力し、学習モデルが出力する、蓄電素子を含めたシステム運用に対応する行動の結果、得られる状態ｓ_t+1を取得する。処理部２３は、評価生成部としての機能を有し、学習モデルが出力する蓄電素子の行動に基づいて蓄電素子の評価結果を生成する。評価結果は、例えば、蓄電素子の健康度を加味した、蓄電素子を含むシステム全体の最適な運用方法を含む。すなわち、蓄電素子の健康度を加味した、システム全体の最適な運用を実現することができる。

また、処理部２３は、蓄電素子の設計パラメータに応じて蓄電素子の評価結果を生成することができる。

図２５は本実施の形態のサーバ装置２が生成する評価結果の一例を示す模式図である。図２５の例では、期待寿命は１０年としている。図２５では、蓄電素子の設計パラメータを便宜上、Ｄ１、Ｄ２、Ｄ３とし、それぞれの設計パラメータを用いた場合の蓄電素子のＳＯＨの時間的変化をプロットしている。設計パラメータＤ１を用いたシステム運用の場合、期待寿命の到達したときのＳＯＨが比較的高く、蓄電素子の健康度を過度に優先した設計パラメータとなっていることが分かる。一方、設計パラメータＤ３を用いたシステム運用の場合、期待寿命の到達したときのＳＯＨが比較的低く、仮に、売電価格を優先するような運用を行うと、期待寿命に到達することができないおそれがある。システム運用方法についてのユーザの要望にも依存するが、設計パラメータＤ２を用いた運用が全体としてバランスが採れたものであると評価することができる。

設計パラメータに応じて蓄電素子の評価結果を生成することにより、例えば、どのような設計パラメータを採用すれば、健康度を加味した、システム全体の最適な運用方法が得られるかを把握することができる。

上述の実施の形態では、サーバ装置２が、処理部２３を備える構成であったが、代替的に、処理部２３を別の１又は複数のサーバに設けるようにしてもよい。また、代替的に寿命予測シミュレータ２４を別のサーバに設けてもよく、別の寿命予測シミュレータのような装置に設けてもよい。

実施の形態は、すべての点で例示であって制限的なものではない。本発明の範囲は、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれる。

２ サーバ装置
２０ 制御部
２１ 通信部
２２ 記憶部
２３ 処理部
２４ 寿命予測シミュレータ
２５ 報酬算出部
２６ 行動選択部
２７ 評価値テーブル

Claims (16)

1. 蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択する行動選択部と、
   前記行動選択部で選択した行動を実行したときの前記蓄電素子のＳＯＨを含む状態を取得する状態取得部と、
   前記行動選択部で選択した行動を実行したときの強化学習における報酬を取得する報酬取得部と、
   前記状態取得部で取得した状態及び前記報酬取得部で取得した報酬に基づいて、前記行動評価情報を更新する更新部と、
   前記更新部で更新した行動評価情報に基づいて、前記蓄電素子の状態に対応する行動を生成する行動生成部と
   を備える行動生成装置。
2. 前記ＳＯＣに関連する設定は、
   ＳＯＣの上限値、ＳＯＣの下限値、前記蓄電素子への充電または放電に基づくＳＯＣ調整量の少なくとも一つの設定を含む請求項１に記載の行動生成装置。
3. 前記行動は、
   前記蓄電素子の環境温度の設定を含む請求項１又は請求項２に記載の行動生成装置。
4. 前記状態取得部は、寿命予測シミュレータから出力される前記蓄電素子のＳＯＨを含む情報を取得する請求項１から請求項３のいずれか一項に記載の行動生成装置。
5. 前記蓄電素子が接続される発電設備での発電量情報を取得する発電量情報取得部と、
   電力需要設備での消費電力量情報を取得する消費電力量情報取得部と、
   前記発電量情報、前記消費電力量情報及び前記行動選択部で選択した行動に基づいて前記蓄電素子のＳＯＣの推移を推定するＳＯＣ推移推定部と、
   前記ＳＯＣ推移推定部で推定したＳＯＣの推移に基づいて前記蓄電素子のＳＯＨを推定するＳＯＨ推定部と
   を備え、
   前記状態取得部は、
   前記ＳＯＨ推定部が推定したＳＯＨを取得する請求項１から請求項３のいずれか一項に記載の行動生成装置。
6. 前記蓄電素子での環境温度情報を取得する温度情報取得部を備え、
   前記ＳＯＨ推定部は、
   前記環境温度情報に基づいて前記蓄電素子のＳＯＨを推定する請求項５に記載の行動生成装置。
7. 前記発電設備又は電力需要設備への売電量に基づいて強化学習における報酬を算出する報酬算出部を備え、
   前記報酬取得部は、
   前記報酬算出部で算出した報酬を取得する請求項５又は請求項６に記載の行動生成装置。
8. 前記行動の実行に起因する消費電力量に基づいて強化学習における報酬を算出する報酬算出部を備え、
   前記報酬取得部は、
   前記報酬算出部で算出した報酬を取得する請求項１から請求項７のいずれか一項に記載の行動生成装置。
9. 前記蓄電素子の状態が寿命に到達したか否かに基づいて強化学習における報酬を算出する報酬算出部を備え、
   前記報酬取得部は、
   前記報酬算出部で算出した報酬を取得する請求項１から請求項８のいずれか一項に記載の行動生成装置。
10. 更新済の行動評価情報を含む学習済モデルと、
    蓄電素子のＳＯＨを含む状態を取得する状態取得部と、
    前記状態取得部で取得した状態を前記学習済モデルに入力し、前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する評価生成部と
    を備える蓄電素子評価装置。
11. 前記状態取得部は、寿命予測シミュレータから出力される前記蓄電素子のＳＯＨを含む情報を取得する請求項１０に記載の蓄電素子評価装置。
12. 前記蓄電素子の設計パラメータを取得するパラメータ取得部を備え、
    前記評価生成部は、
    前記パラメータ取得部で取得した設計パラメータに応じて前記蓄電素子の評価結果を生成する請求項１０又は請求項１１に記載の蓄電素子評価装置。
13. コンピュータに、
    蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択する処理と、
    選択した行動を実行したときの強化学習における報酬及び前記蓄電素子のＳＯＨを含む状態を取得する処理と、
    取得した報酬が大きくなるように、前記行動評価情報を更新して、前記蓄電素子の状態に対応する行動を学習させる処理と
    を実行させるコンピュータプログラム。
14. コンピュータに、
    蓄電素子のＳＯＨを含む状態を取得する処理と、
    更新済の行動評価情報を含む学習済モデルに、取得した状態を入力する処理と、
    前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する処理と
    を実行させるコンピュータプログラム。
15. 蓄電素子のＳＯＣに関連する設定を含む行動を、行動評価情報に基づいて選択し、
    選択された行動を実行したときの強化学習における報酬及び前記蓄電素子のＳＯＨを含む状態を取得し、
    取得された報酬が大きくなるように、前記行動評価情報を更新して、前記蓄電素子の状態に対応する行動を学習する学習方法。
16. 蓄電素子のＳＯＨを含む状態を取得し、
    更新済の行動評価情報を含む学習済モデルに、取得した状態を入力し、
    前記学習済モデルが出力する前記蓄電素子のＳＯＣに関連する設定を含む行動に基づいて前記蓄電素子の評価結果を生成する評価方法。

Images