JP7090442B2 - 制御システム、学習装置、及び制御方法 - Google Patents
制御システム、学習装置、及び制御方法 Download PDFInfo
- Publication number
- JP7090442B2 JP7090442B2 JP2018053507A JP2018053507A JP7090442B2 JP 7090442 B2 JP7090442 B2 JP 7090442B2 JP 2018053507 A JP2018053507 A JP 2018053507A JP 2018053507 A JP2018053507 A JP 2018053507A JP 7090442 B2 JP7090442 B2 JP 7090442B2
- Authority
- JP
- Japan
- Prior art keywords
- rotation
- wind
- reward
- speed
- wind speed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02E—REDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
- Y02E10/00—Energy generation through renewable energy sources
- Y02E10/70—Wind energy
- Y02E10/74—Wind turbines with rotation axis perpendicular to the wind direction
Description
本発明は、制御システム、学習装置、及び制御方法に関する。
従来、風力発電システムにおいて、風車のブレード（翼）の取り付け角（ピッチ角）を変化させることにより、出力を高効率に制御する技術がある。しかし、垂直軸型の風車では翼のピッチ制御を持たないものが多い。ピッチ制御を持たない風力発電システムにおいては、風車が一定以上の風速（強風）を受ける状況では、風車の回転速度を減速させる。これにより、強風下において風車の回転速度が過回転となり強制停止してしまう事態を防ぎ、強風下においても風車の回転動作を継続させる。こうすることで運転可能な条件の拡大を図ってきた（例えば、特許文献１）。
しかしながら、風況は時々刻々と変化するため、不安定であり、予測することが困難であるという実情がある。このため、強風に備えて風車の回転速度を減速させた状態で、想定していた強風が吹かなかった場合には、風車の回転速度を減速させた量に応じて発電電力が低減してしまうという問題があった。
本発明は、このような事情に鑑みてなされたものであり、その目的は、不安定な風況であっても風車における回転速度を最適化させるように制御を行うことが可能となる制御システム、学習装置、及び制御方法を提供することである。
上述した課題を解決するために本発明の一実施形態は、発電システムの風車を制御する制御システムであって、前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習する学習部と、前記風速と前記回転の対応情報を記憶する記憶部と、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定する決定部と、前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御する制御部とを備え、前記関係情報は、前記報酬算出部により算出された報酬であり、前記報酬算出部は、前記状態検出部により検出された風速が所定の風速閾値以上であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲における報酬よりも小さく適正範囲を超えた場合における報酬より大きい報酬を算出し、前記状態検出部により検出された風速が所定の風速閾値未満であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲からの乖離の度合いに応じた報酬を算出し、前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習する制御システムである。
また、本発明の一実施形態は、上述の制御システムであって、発電システムの風車を制御する制御システムであって、前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習する学習部と、前記風速と前記回転の対応情報を記憶する記憶部と、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定する決定部と、前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御する制御部とを備え、前記関係情報は、前記報酬算出部により算出された報酬であり、前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習し、前記報酬算出部は、前記状態検出部により検出された風速が所定の風速閾値以上である場合、前記風車の回転速度が第１閾値以上であるか否かに応じて報酬を算出し、前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が第１閾値以上である場合に第１レベルの報酬を算出し、前記風車の回転速度が前記第１閾値より小さい第２閾値以上である場合、前記第１レベルより高い第２レベルの報酬を算出し、前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が前記第２閾値未満である場合、前記第１レベルより高く、尚且つ前記第２レベルより低い第３レベルの報酬を算出する制御システムである。
また、本発明の一実施形態は、風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転の対応情報を学習する学習部を備え、制御装置において求められる報酬を取得可能な学習装置であり、前記制御装置は、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、を備え、前記報酬算出部は、前記状態検出部により検出された風速が所定の風速閾値以上であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲における報酬よりも小さく適正範囲を超えた場合における報酬より大きい報酬を算出し、前記状態検出部により検出された風速が所定の風速閾値未満であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲からの乖離の度合いに応じた報酬を算出し、前記関係情報は、前記報酬算出部により算出された報酬であり、前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習する学習装置である。
また、本発明の一実施形態は、風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転の対応情報を学習する学習部を備え、制御装置において求められる報酬を取得可能な学習装置であり、前記制御装置は、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、を備え、前記報酬算出部は、前記状態検出部により検出された風速が所定の風速閾値以上である場合、前記風車の回転速度が第１閾値以上であるか否かに応じて報酬を算出し、前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が第１閾値以上である場合に第１レベルの報酬を算出し、前記風車の回転速度が前記第１閾値より小さい第２閾値以上である場合、前記第１レベルより高い第２レベルの報酬を算出し、前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が前記第２閾値未満である場合、前記第１レベルより高く、尚且つ前記第２レベルより低い第３レベルの報酬を算出し、前記関係情報は、前記報酬算出部により算出された報酬であり、前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習する学習装置である。
また、本発明の一実施形態は、発電システムの風車を制御する制御方法であって、学習部が、前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習し、記憶部が、前記風速と前記回転の対応情報を記憶し、状態検出部が、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出し、報酬算出部が、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出し、前記関係情報は、前記報酬算出部により算出された報酬であり、前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習し、決定部が、前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定し、制御部が、前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御し、前記報酬を算出することは、前記状態検出部により検出された風速が所定の風速閾値以上であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲における報酬よりも小さく適正範囲を超えた場合における報酬より大きい報酬を算出し、前記状態検出部により検出された風速が所定の風速閾値未満であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲からの乖離の度合いに応じた報酬を算出することを含む制御方法である。
また、本発明の一実施形態は、発電システムの風車を制御する制御方法であって、学習部が、前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習し、記憶部が、前記風速と前記回転の対応情報を記憶し、状態検出部が、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出し、報酬算出部が、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出し、前記関係情報は、前記報酬算出部により算出された報酬であり、前記学習部が、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習し、決定部が、前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定し、制御部が、前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御し、前記報酬を算出することは、前記状態検出部により検出された風速が所定の風速閾値以上である場合、前記風車の回転速度が第１閾値以上であるか否かに応じて報酬を算出することを含み、前記報酬を算出することは、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が第１閾値以上である場合に第１レベルの報酬を算出し、前記風車の回転速度が前記第１閾値より小さい第２閾値以上である場合、前記第１レベルより高い第２レベルの報酬を算出することを含み、前記報酬を算出することは、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が前記第２閾値未満である場合、前記第１レベルより高く、尚且つ前記第２レベルより低い第３レベルの報酬を算出することを含む制御方法である。
また、本発明の一実施形態は、発電システムの風車を制御する制御方法であって、学習部が、前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習し、記憶部が、前記風速と前記回転の対応情報を記憶し、状態検出部が、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出し、報酬算出部が、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出し、前記関係情報は、前記報酬算出部により算出された報酬であり、前記学習部が、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習し、決定部が、前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定し、制御部が、前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御し、前記報酬を算出することは、前記状態検出部により検出された風速が所定の風速閾値以上である場合、前記風車の回転速度が第１閾値以上であるか否かに応じて報酬を算出することを含み、前記報酬を算出することは、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が第１閾値以上である場合に第１レベルの報酬を算出し、前記風車の回転速度が前記第１閾値より小さい第２閾値以上である場合、前記第１レベルより高い第２レベルの報酬を算出することを含み、前記報酬を算出することは、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が前記第２閾値未満である場合、前記第１レベルより高く、尚且つ前記第２レベルより低い第３レベルの報酬を算出することを含む制御方法である。
以上説明したように、この発明によれば、不安定な風況であっても風車における回転速度の制御を最適化させることが可能となる。
以下、実施形態の制御システム、学習装置、制御装置を、図面を参照して説明する。
＜第１の実施形態＞
図１は、第１の実施形態に係る風力発電システム１の概略構成の一例を示すブロック図である。風力発電システム１は、風力発電機本体１０と制御システム５０とを備える。風力発電機本体１０と制御システム５０との間では、種々の情報がやりとりされる。
図１に示すように、例えば、制御システム５０から風力発電機本体１０に、風力発電機本体１０を制御する制御パラメータが出力される。
また、例えば、風力発電機本体１０から制御システム５０に、風力発電機本体１０の状態を示す状態パラメータが出力される。
図１は、第１の実施形態に係る風力発電システム１の概略構成の一例を示すブロック図である。風力発電システム１は、風力発電機本体１０と制御システム５０とを備える。風力発電機本体１０と制御システム５０との間では、種々の情報がやりとりされる。
図１に示すように、例えば、制御システム５０から風力発電機本体１０に、風力発電機本体１０を制御する制御パラメータが出力される。
また、例えば、風力発電機本体１０から制御システム５０に、風力発電機本体１０の状態を示す状態パラメータが出力される。
制御パラメータは、例えば、風車２０の回転数を制御する回転数制御パラメータ、及び発電機３０により発電される回生電力の電力量を制御する電力制御パラメータである。
また、状態パラメータは、例えば、風車２０の風速、風車２０の回転速度（以下、単に回転速度ともいう）、及び発電機３０により発電された回生電力の電力量を示す情報である。
また、状態パラメータは、例えば、風車２０の風速、風車２０の回転速度（以下、単に回転速度ともいう）、及び発電機３０により発電された回生電力の電力量を示す情報である。
風力発電機本体１０は、風車２０、発電機３０、整流・昇圧部３１、電圧検出部３２、電流検出部３３、風速センサ４１及び回転速度センサ４２を備える。
風車２０は、例えば、垂直軸型風車として構成されており、鉛直方向に延びる回転軸の周囲に複数の直線翼が一体として回転可能に連結させた直線翼垂直軸風車などによって構成されている。
風車２０は、例えば、後述する発電機３０の回転子と回転軸を介して接続され、発電機３０の回転子と一体となって回転する。ここで、発電機３０の回転子は、発電機３０により発電される回生電力の電力量に応じた回転数で回転する。また、回生電力の電力量は、後述する制御システム５０によりＭＰＰＴ（Maximum Power Point Tracking）制御がなされる。このため、風車２０の回転数は、制御システム５０によるＭＰＰＴ制御により、間接的に制御される。
風車２０は、例えば、垂直軸型風車として構成されており、鉛直方向に延びる回転軸の周囲に複数の直線翼が一体として回転可能に連結させた直線翼垂直軸風車などによって構成されている。
風車２０は、例えば、後述する発電機３０の回転子と回転軸を介して接続され、発電機３０の回転子と一体となって回転する。ここで、発電機３０の回転子は、発電機３０により発電される回生電力の電力量に応じた回転数で回転する。また、回生電力の電力量は、後述する制御システム５０によりＭＰＰＴ（Maximum Power Point Tracking）制御がなされる。このため、風車２０の回転数は、制御システム５０によるＭＰＰＴ制御により、間接的に制御される。
発電機３０は、風車２０の回転力を変換して電力を生じさせる装置であり、例えば、三相交流発電機として構成され、風車２０の回転と連動して回転する回転子が風車２０の回転軸に連結されて回転することにより交流電力を発電する。発電機３０は、発電した交流電力を整流・昇圧部３１に供給する。なお、発電機３０は、発電した電力を整流・昇圧部３１側に供給する発電機として動作する他、整流・昇圧部３１から交流電力が供給される電動機としても動作する。発電機３０は、例えば、風車２０の起動時に回転をアシストするアシスト制御を行う場合等に電動機として動作する。
整流・昇圧部３１は、発電機３０により発電された交流電力を直流電力に変換し、変換した直流電力の電圧を変換（昇圧）する。整流・昇圧部３１は、例えば、昇圧チョッパ回路である。整流・昇圧部３１から出力される直流電力が、発電機３０により発電された回生電力に相当する。
なお、整流・昇圧部３１は、発電機３０に発電動作を行わせる場合には昇圧チョッパ回路として作動し、アシスト制御時等に発電機３０を電動機として動作させる場合にはインバ－タとして作動する回路である。なお、アシスト制御時の供給電力は、風力発電システム１のバッテリ（不図示）からの電力であってもよい。
電圧検出部３２は、公知の電圧計によって構成され、整流・昇圧部３１から出力される出力電圧を検出し、検出した出力電圧を制御システム５０に出力する。
電流検出部３３は、公知の電流計によって構成され、整流・昇圧部３１から出力される出力電流を検出し、検出した出力電流を制御システム５０に出力する。
電流検出部３３は、公知の電流計によって構成され、整流・昇圧部３１から出力される出力電流を検出し、検出した出力電流を制御システム５０に出力する。
風速センサ４１は、公知の風速センサによって構成され、例えば、風車２０の近傍の所定位置（例えば、風車２０における回転翼以外の部位）に設けられて風車が受ける風の風速を検出する。風速センサ４１は、検出した風速を示す情報を、制御システム５０に出力する。
回転速度センサ４２は、風車２０の回転速度を検出する。回転速度センサ４２は、風車２０の回転軸部（不図示）の回転速度を検出し得るセンサであればよく、公知の様々な回転速度センサを用いることができる。回転速度センサ４２は、検出した回転速度を示す情報を、制御システム５０に出力する。
制御システム５０は、制御装置６０と、学習装置７０とを備える。
制御装置６０は、風速センサ４１により検出された風速、及び回転速度センサ４２により検出された回転速度に基づいて、回転数制御パラメータを決定することにより風車の回転数を制御する。制御装置６０は、学習装置７０を用いて、回転数制御パラメータを決定する。制御装置６０が学習装置７０を用いて回転数制御パラメータを決定する方法については後で詳しく説明する。
制御装置６０は、風速センサ４１により検出された風速、及び回転速度センサ４２により検出された回転速度に基づいて、回転数制御パラメータを決定することにより風車の回転数を制御する。制御装置６０は、学習装置７０を用いて、回転数制御パラメータを決定する。制御装置６０が学習装置７０を用いて回転数制御パラメータを決定する方法については後で詳しく説明する。
学習装置７０は、例えば、強化学習を行う装置である。この場合、学習装置７０は、強化学習における学習する主体となるエージェントに相当し、制御対象（本実施形態では、風力発電機本体１０）とのやりとりにより、制御対象をより適切に制御するための学習を進める。
以下では、学習装置７０が強化学習を行う場合を例示して説明するが、これに限定されない。学習装置７０は、制御対象（風力発電機本体１０）に関する状態に基づいて、制御対象を制御するパラメータがより適切となるように学習するものであればよい。学習装置７０は、教師あり学習を行ってもよいし、教師なし学習を行ってもよいし、その他の学習を行ってもよい。ここで、制御対象（風力発電機本体１０）に関する状態とは、風力発電機本体１０及び風力発電機本体１０の周囲の状態であり、例えば、状態パラメータで示される風車２０における風速、風車２０の回転速度、及び発電機３０の発電量等の変数である。また、ここでの状態には、上述した風速等のような時々刻々変化する状態の他、予め定められた状態、例えば、風車２０の回転速度の限界値、風車２０の回転トルクの上下限、及び発電機３０が発電可能な最大の電力量等を含む。
以下では、学習装置７０が強化学習を行う場合を例示して説明するが、これに限定されない。学習装置７０は、制御対象（風力発電機本体１０）に関する状態に基づいて、制御対象を制御するパラメータがより適切となるように学習するものであればよい。学習装置７０は、教師あり学習を行ってもよいし、教師なし学習を行ってもよいし、その他の学習を行ってもよい。ここで、制御対象（風力発電機本体１０）に関する状態とは、風力発電機本体１０及び風力発電機本体１０の周囲の状態であり、例えば、状態パラメータで示される風車２０における風速、風車２０の回転速度、及び発電機３０の発電量等の変数である。また、ここでの状態には、上述した風速等のような時々刻々変化する状態の他、予め定められた状態、例えば、風車２０の回転速度の限界値、風車２０の回転トルクの上下限、及び発電機３０が発電可能な最大の電力量等を含む。
本実施形態では、学習装置７０は、風力発電機本体１０を制御する回転数制御パラメータを出力し、出力した回転数制御パラメータに応じて、風力発電機本体１０の状態を観察し、状態の変化に応じて、次の回転数制御パラメータを決定する。
また、学習装置７０は、風力発電機本体１０の状態に応じた報酬を受け取る。これにより、学習装置７０は、報酬を手掛かりとして自身が出力した回転数制御パラメータの良し悪しを判断することにより学習を進め、より適した回転数制御パラメータを出力することが可能となる。
また、学習装置７０は、風力発電機本体１０の状態に応じた報酬を受け取る。これにより、学習装置７０は、報酬を手掛かりとして自身が出力した回転数制御パラメータの良し悪しを判断することにより学習を進め、より適した回転数制御パラメータを出力することが可能となる。
図２は、本発明の一実施形態に係る風力発電システム１の制御装置６０の構成の一例を示すブロック図である。
図２に示すように、制御装置６０は、パラメータ取得部６１と、状態検出部６２と、報酬算出部６３と、報酬出力部６４とを備える。また、学習装置７０は、強化学習部７１を備える。ここで、強化学習部７１は、「学習部」の一例である。
図２に示すように、制御装置６０は、パラメータ取得部６１と、状態検出部６２と、報酬算出部６３と、報酬出力部６４とを備える。また、学習装置７０は、強化学習部７１を備える。ここで、強化学習部７１は、「学習部」の一例である。
パラメータ取得部６１は、強化学習部７１から出力される回転数制御パラメータを取得する。パラメータ取得部６１は、取得した回転数制御パラメータを、風力発電機本体１０に対して出力する。
状態検出部６２は、風力発電機本体１０の状態を示す状態パラメータを検出する。状態パラメータは、風力発電機本体１０に含まれる風車２０や発電機３０に関する情報であり、例えば、風速センサ４１により検出された風速、回転速度センサ４２により検出された回転速度、及び発電機３０により発電された回生電力を示す情報である。状態検出部６２は、検出した状態パラメータを、報酬算出部６３に出力する。
ここで、風速センサ４１により検出された風速は「風速情報」の一例である。回転速度センサ４２により検出された回転速度は、「回転情報」の一例である。また、発電機３０により発電された回生電力は、「電力情報」の一例である。
報酬算出部６３は、状態検出部６２から取得した風速、及び回転速度を示す情報に基づいて、報酬を算出する。報酬算出部６３は、予め定めた所定の報酬条件に応じて報酬を算出する。
ここで、報酬条件は、例えば、風速に対して回転速度がより適切に制御されたと判定される場合に、より高い報酬が得られるように設定される。
ここで、報酬条件は、例えば、風速に対して回転速度がより適切に制御されたと判定される場合に、より高い報酬が得られるように設定される。
例えば、報酬算出部６３は、風速、及び回転速度に基づいて、強風時において風車の回転が過回転となることなく制御され、発電電力が低下し過ぎることが抑制されている場合には、より高い報酬を算出する。また、例えば、報酬算出部６３は、風速、及び回転速度に基づいて、発電に適した風況にも係らず、風車の回転が不適切に抑制されてしまい、発電電力の低下を引き起こしている場合には、より低い報酬を算出する。報酬算出部６３は、算出した報酬を報酬出力部６４に出力する。
報酬出力部６４は、報酬算出部６３から取得した報酬を、強化学習部７１に出力する。
強化学習部７１は、風力発電機本体１０の状態を示す風速と回転速度を示す情報を取得する。また、強化学習部７１は、報酬出力部６４から報酬を取得する。強化学習部７１は、取得した風速と回転速度を示す情報、及び風速に対して予め定められた回転数の許容範囲と回転数の目標値を示す情報に基づいて、報酬を手掛かりとしてより高い報酬が得られるように学習を進め、より適切な回転数制御パラメータを出力する。
ここで、回転数の許容範囲とは、風車２０や発電機３０の機械的な耐用限界等に基づいて定められる風車２０の回転数として許容される範囲である。また、回転数の目標値とは、風速ごとに定まる回生電力が最大となる風車の回転数である。
風力発電では、強風時においては、特に風車の回転数を制御することが困難となる場合があり、風車の回転速度が過多になった場合には風車が強制停止されてしまい発電電力の低下を招く。また、強風に備えて風車の回転速度を抑制し過ぎると、発電電力の低下を招く要因となり得る。
そこで、本実施形態では強風時における回転数制御パラメータに対し、風車が適切に制御されたか否かに応じて、報酬に差がつくように報酬条件を設定する。これにより、強化学習部７１に、強風時においてもより適切な回転数制御パラメータが出力できるように学習させることが可能となる。
そこで、本実施形態では強風時における回転数制御パラメータに対し、風車が適切に制御されたか否かに応じて、報酬に差がつくように報酬条件を設定する。これにより、強化学習部７１に、強風時においてもより適切な回転数制御パラメータが出力できるように学習させることが可能となる。
図３は、第１の実施形態に係る強風時における報酬条件の例を示す図である。
図３に示すように、強風時において、回転速度が所定の第１閾値以上である場合、最低レベルである第１レベルの報酬とする。つまり、強風時において回転速度が超過している場合には、最も低い報酬とする。最低レベルである第１レベルの報酬とは、例えば、マイナスの報酬である。
図３に示すように、強風時において、回転速度が所定の第１閾値以上である場合、最低レベルである第１レベルの報酬とする。つまり、強風時において回転速度が超過している場合には、最も低い報酬とする。最低レベルである第１レベルの報酬とは、例えば、マイナスの報酬である。
また、回転速度が所定の第２閾値以上、尚且つ第１閾値未満である場合、最高ランクである第２レベルの報酬とする。つまり、強風時において回転速度が適正範囲に制御されている場合には、最も高い報酬とする。なお、第２閾値は第１閾値よりも低い閾値である。
また、回転速度が所定の第２閾値未満である場合、第２レベルよりも低く、尚且つ第１レベルよりは高い第３レベルの報酬とする。つまり、強風時において回転速度が速度不足である場合には、最も高い報酬よりは低い報酬であるが、回転速度が速度超過である場合よりは高い報酬とする。
なお、ここでの強風時とは、所定の強風判定閾値以上の風速が検出された場合であり、この強風判定閾値は、風車の構造や機械的な強度に応じて任意に定められてよい。また、上述した第１閾値、及び第２閾値は、風速に依らず一定の値であってもよいし、風速に応じでそれぞれ異なる値であってもよい。
図４は、第１の実施形態に係る風力発電システム１における風速と風車の回転速度との関係の一例を示す図である。図４の横軸は風速［ｍ／ｓ］、縦軸は風車２０の回転数［ｒ／ｍｉｎ］を示す。また、図４においては、風速Ｂ［ｍ／ｓ］以上である場合に強風となる。
図４に示すように、強風ではない風速Ａ［ｍ／ｓ］～風速Ｂ［ｍ／ｓ］までの間において、風速と回転数とが正の比例係数で比例する関係となるように制御される。一方、強風である風速Ｂ［ｍ／ｓ］以上の風速である場合、風速と回転数とが所定の関係となるように制御されることが望ましい。ここでの所定の関係とは、例えば、風速が増加すると回転数が低下する関係である。風速と回転数との関係が、この例における特性ＦＧ上の点となるように制御した場合、発電機３０のトルクを最大トルクに維持することができる。この場合、最大の発電電力を得ることが可能となる。この例では特性ＦＧに示す線上に沿って回転数が制御されることが最も望ましい。このため、本実施形態では、強風時において、風車２０の回転数が、その風速に応じた適正範囲に制御された場合に、最も高い報酬を設定する。この場合の適正範囲は、例えば、風速に応じた特性ＦＧ上の点を含む所定の範囲である。
一方、回転数が特性ＦＧ上の点を超過してしまった場合、発電機３０の回転子の機械的な耐用限界を超過する可能性があることから、風車が強制停止される。風車が強制停止されてしまうと発電をすることができない。つまり、風速と回転数との関係が領域Ｄにある場合、風車が強制停止される可能性が高まることから、このような事態は望ましくない。このため、本実施形態では、強風時において、風車２０の回転数が、その風速に応じた回転速度における速度超過の範囲に制御された場合に、最も低い報酬を設定する。この場合の速度超過の範囲は、例えば、風速に応じた領域Ｄに含まれる所定の範囲である。
また、回転数が特性ＦＧ上の点よりも低下した場合、風車２０の回転数を過剰に抑制することになり、発電機３０はさらに発電をすることが可能であるにも係らず、発電できていない状態となる。この場合、風車２０が強制停止されたり、発電機３０の機械的な耐用限界を超えたりする心配はないが、発電電力を最大限に引き出せていない。このため、本実施形態では、強風時において、風車２０の回転数が、その風速に応じた速度不足の範囲に制御された場合に、最も高い報酬より低いが、最も低い報酬よりは高い報酬を設定する。この場合の速度不足の範囲は、例えば、領域ＦＢＣＧで示される範囲である。
図５は、第１の実施形態に係る風力発電システム１における風速と発電電力の出力との関係の一例を示す図である。図５の横軸は風速［ｍ／ｓ］、縦軸は発電電力［ｋＷ］を示す。図５では、図４における制御特性に基づいて風車の回転数が制御された場合における風力と発電電力との関係を示している。また、図５においては、図４同様に、風速Ｂ［ｍ／ｓ］以上である場合に強風となる。
図５に示すように、強風ではない風速Ａ［ｍ／ｓ］～風速Ｂ［ｍ／ｓ］までの間において、風速に応じて発電電力が三次関数的に増大する。一方、強風である風速Ｂ［ｍ／ｓ］以上の風速である場合、図４に示す特性ＦＧに沿って回転数が制御されることで、発電電力が最大出力Ｍａｘに維持される。
図５に示すように、強風ではない風速Ａ［ｍ／ｓ］～風速Ｂ［ｍ／ｓ］までの間において、風速に応じて発電電力が三次関数的に増大する。一方、強風である風速Ｂ［ｍ／ｓ］以上の風速である場合、図４に示す特性ＦＧに沿って回転数が制御されることで、発電電力が最大出力Ｍａｘに維持される。
図６は、第１の実施形態に係る制御装置６０の動作例を示すフローチャートである。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から回転数制御パラメータを取得する（ステップＳ１０）。
次に、状態検出部６２は、風速、及び回転速度を検出する（ステップＳ１１）。状態検出部６２は、風速センサ４１により検出された風速、及び回転速度センサ４２により検出された回転速度を取得することにより、風速、及び回転速度を検出する。状態検出部６２は、検出した風速、及び回転速度を、報酬算出部６３に出力する。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から回転数制御パラメータを取得する（ステップＳ１０）。
次に、状態検出部６２は、風速、及び回転速度を検出する（ステップＳ１１）。状態検出部６２は、風速センサ４１により検出された風速、及び回転速度センサ４２により検出された回転速度を取得することにより、風速、及び回転速度を検出する。状態検出部６２は、検出した風速、及び回転速度を、報酬算出部６３に出力する。
次に、報酬算出部６３は、報酬を算出する。
まず、報酬算出部６３は、風速が強風であるか否かを判定する（ステップＳ１２）。報酬算出部６３は、風速が強風である場合、回転速度が第１閾値以上であるか否かを判定する（ステップＳ１３）。報酬算出部６３は、回転速度が第１閾値以上である場合、第１レベルの報酬とする（ステップＳ１４）。一方、報酬算出部６３は、回転速度が第１閾値未満である場合、回転速度が第２閾値以上であるか否かを判定する（ステップＳ１６）。
まず、報酬算出部６３は、風速が強風であるか否かを判定する（ステップＳ１２）。報酬算出部６３は、風速が強風である場合、回転速度が第１閾値以上であるか否かを判定する（ステップＳ１３）。報酬算出部６３は、回転速度が第１閾値以上である場合、第１レベルの報酬とする（ステップＳ１４）。一方、報酬算出部６３は、回転速度が第１閾値未満である場合、回転速度が第２閾値以上であるか否かを判定する（ステップＳ１６）。
報酬算出部６３は、回転速度が第２閾値以上である場合、第２レベルの報酬とする（ステップＳ１７）。一方、報酬算出部６３は、回転速度が第２閾値未満である場合、第３レベルの報酬とする（ステップＳ１８）。
なお、ステップＳ１２において、風速が強風でない場合、報酬算出部６３は、通常レベルの報酬とする（ステップＳ１９）。通常レベルの報酬とは、例えば、回転速度が適正範囲に含まれるように制御されている場合には最も高い報酬とし、適正範囲から外れた場合には外れた方向（速度超過、又は速度不足）に関わらず、適正範囲から乖離した度合に応じて、報酬を低減させる。
報酬算出部６３は、算出した報酬を、報酬出力部６４に出力する。報酬出力部６４は、報酬を、強化学習部７１に出力する（ステップＳ１５）。
＜第２の実施形態＞
次に第２の実施形態について説明する。
本実施形態では、制御装置６０の制御対象が回生電力である点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
次に第２の実施形態について説明する。
本実施形態では、制御装置６０の制御対象が回生電力である点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
まず前提として、風力発電においては、風車２０が受ける風速に対する回生電力の最大値は風車ごとに固有の特性値として一義的に定められている。そして、この回生電力の最大値が、風速に応じた回生電力の目標値として設定され、回生電力の目標値に近づくように回生電力が制御される。
制御装置６０は、学習装置７０を用いて、電力制御パラメータを決定する。制御装置６０は、電力制御パラメータに基づいて、整流・昇圧部３１から出力される直流電力が、電力制御パラメータにより指示された電力値に近づくようにＭＰＰＴ（Maximum Power Point Tracking）制御を行う。具体的には、制御装置６０は、電圧検出部３２で検出される出力電圧、および電流検出部で検出される出力電流によって決定される出力電力が、電力制御パラメータにより指示された回生電力の目標値となるように整流・昇圧部３１に与えるＰＷＭ信号のデューティ比を変化させる。
学習装置７０は、状態検出部６２により検知される状態パラメータ、及び報酬出力部６４により出力される報酬に基づいて、電力制御パラメータを出力する。また、学習装置７０は、出力した電力制御パラメータが風力発電機本体１０の整流・昇圧部３１に設定されたことによる、風力発電機本体１０の状態の変化を観察し、状態の変化や報酬に応じて、次の電力制御パラメータを決定する。
強化学習部７１は、風力発電機本体１０の状態を示す風速と回転速度と回生電力を示す情報を取得する。強化学習部７１は、取得した風速と回転速度と回生電力を示す情報、及び回生電力の目標値を示す情報に基づいて、報酬を手掛かりとしてより高い報酬が得られるように学習を進め、より適切な電力制御パラメータを出力する。ここで、回生電力の目標値とは、風速ごとに定まる発電可能な回生電力の最大値である。
報酬算出部６３は、報酬を算出する場合、報酬を算出する対象とする所定の対象区間を抽出する。ここで、対象区間とは、風況に応じて定まる所定の区間であり、例えば、風速が減速する減速区間と風速が加速する加速区間とを合わせた区間である。
風力発電においては、風速が減速しているにも係らず、風速に応じた最大の回生電力が得られる回転数で風車を回転させ続けると、発電負荷により風車の回転が失速してしまう場合があった。このための対策として、例えば、減速区間では回生電力を最大にする制御を行わず、回転が失速しないように回転速度を維持する制御を行い、加速時に回転数を増加させることでより高い回生電力が得られるように制御することが考えられる。このように制御すれば、トータルの発電量を増やすことが可能である。
そこで、本実施形態では、報酬算出部６３は、所定の対象区間における回生電力の加算値が所定の電力閾値以上である場合には、より高い報酬を算出する。また、報酬算出部６３は、対象区間における回生電力の加算値が所定の電力閾値未満である場合には、より低い報酬を算出する。これにより、学習装置７０に、所定の対象区間における回生電力の加算値が高くなるような電力制御パラメータを出力するように学習させることができる。例えば、学習装置７０に、減速区間のどのタイミングで回生電力を最大にする制御から回転速度を維持する制御に切替え、加速区間のどのタイミングで回転速度を維持する制御から回生電力を最大にする制御に切替えれば、トータルの発電量が増えるかを学習させることができる。
図７は、第２の実施形態に係る風力発電システム１における対象区間を示す図である。図７（ａ）は風速の時間変化を模式的に示す図である。図７（ｂ）は風速の時間変化の一例である。図７（ａ）、及び（ｂ）の横軸は時間［ｍｉｎ］、縦軸は風車２０の風速［ｍ／ｓ］を示す。
図７（ａ）に示すように、風速の時間変化においては、加速のピークＰ１を示した後、減速に転じて減速のピークＰ２を示し、その後加速に転じて加速のピークＰ３を示す。風速はこのように減速と加速とを交互に繰り返しながら変化する。報酬算出部６３は、加速のピークＰ１から減速のピークＰ２までを減速区間、減速のピークＰ２から加速のピークＰ３までを加速区間とし、減速区間とその後の加速区間とを合わせた対象区間を抽出する。
図７（ｂ）に示すように、時間Ｔ１において風速が加速のピークとなり、その後減速した風速が時間Ｔ２において再び加速のピークとなる場合、対象区間は時間Ｔ１からＴ２までの間（以下、単に「時間Ｔ１～Ｔ２」と記す）である。同様に、時間Ｔ２～Ｔ３、時間Ｔ３～Ｔ４、…がそれぞれ対象区間である。対象区間の時間は、風況に応じて定まる任意の時間であってよく、ある対象区間と他の対象区間との時間が異なっていてよい。また、時間Ｔ４～Ｔ５のように、一旦減速した風速がしばらく維持され、再度減速したような場合も減速区間としてよく、その後の加速区間と合わせて対象区間としてよい。また、時間Ｔ５～Ｔ６のように対象区間に対して減速区間の割合が極端に少ない場合や、時間Ｔ６～Ｔ７のように対象区間に対して増加区間の割合が極端に少ない場合も、対象区間としてよい。
報酬算出部６３は、対象区間を抽出する場合、例えば、状態検出部６２により検出された風速Ｖ（ｎ）と、その前に状態検出部６２により検出された風速Ｖ（ｎ－１）との風速差分（Ｖ（ｎ）－Ｖ（ｎ－１））を算出することで、風速が減速しているか、減速のピークであるか、加速しているか、又は加速のピークであるかを判定する。報酬算出部６３は、風速差分がマイナスの値である場合、風速が減速であると判定する。報酬算出部６３は、風速差分がマイナスの値から０（ゼロ）、又は０（ゼロ）に近い所定の範囲内に変化した場合、風速が減速のピークであると判定する。報酬算出部６３は、風速差分がプラスの値である場合、風速が加速であると判定する。報酬算出部６３は、風速差分がプラスの値から０（ゼロ）、又は０（ゼロ）に近い所定の範囲内に変化した場合、風速が加速のピークであると判定する。
なお、風速を検出する周期は、風力発電機本体１０に対して制御を行う制御周期（例えば、１０［ｍｓ］）や風況等に応じて任意に定められてよい。また、風況に応じた回生電力が出力されるまでに所定の遅延があることが考えられることから、報酬算出部６３は、対象区間に応じた時間に所定の遅延時間を考慮した時間における回生電力に基づいて、報酬を算出するようにしてよい。この場合の遅延時間は、風速に依らず一定の値であってもよいし、風速に応じて変動する値であってもよい。
また、上記では、報酬算出部６３は、対象区間における回生電力の加算値の大きさに基づいて、報酬を算出したが、これに限定されることはない。報酬算出部６３は、減速区間において回転速度が失速することなく維持された場合により高い報酬を算出し、減速区間において回転速度が失速した場合にはより低い報酬を算出するようにしてもよい。
また、上記では、報酬算出部６３は、風速に基づいて対象区間を抽出したが、これに限定されない。報酬算出部６３は、風速に代えて回転数を用いて、対象区間を抽出してもよいし、風速と回転数を用いて対象区間を抽出してもよい。
また、報酬算出部６３は、風速に基づいて、対象区間におけるトータル発電量に基づいて報酬を算出するか否かを判定してもよい。報酬算出部６３は、例えば、風速が所定の強風閾値未満である場合、つまり強風でない場合、対象区間におけるトータル発電量に基づいて報酬を算出すると判定する。一方、報酬算出部６３は、風速が所定の強風閾値以上である場合、つまり強風である場合、対象区間におけるトータル発電量に基づいて報酬を算出しないと判定する。強風時に発電量を高めようとすれば、風車２０が過回転となる可能性があるためである。
図８は、第２の実施形態に係る制御装置６０の動作例を示すフローチャートである。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から電力制御パラメータを取得する（ステップＳ２０）。
次に、状態検出部６２は、風速、回転速度、及び回生電力を検出する（ステップＳ２１）。状態検出部６２は、風速センサ４１により検出された風速、及び回転速度センサ４２により検出された回転速度、を取得することにより、風速、及び回転速度を検出する。また、状態検出部６２は、電圧検出部３２より検出された回生電力の電圧、及び電流検出部３３により検出された回生電力の電流を取得することにより、回生電力を検出する。状態検出部６２は、検出した風速、回転速度、及び回生電力を、報酬算出部６３に出力する。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から電力制御パラメータを取得する（ステップＳ２０）。
次に、状態検出部６２は、風速、回転速度、及び回生電力を検出する（ステップＳ２１）。状態検出部６２は、風速センサ４１により検出された風速、及び回転速度センサ４２により検出された回転速度、を取得することにより、風速、及び回転速度を検出する。また、状態検出部６２は、電圧検出部３２より検出された回生電力の電圧、及び電流検出部３３により検出された回生電力の電流を取得することにより、回生電力を検出する。状態検出部６２は、検出した風速、回転速度、及び回生電力を、報酬算出部６３に出力する。
次に、報酬算出部６３は、報酬を算出する。
まず、報酬算出部６３は、風速が加速のピークであるか否かを判定する（ステップＳ２２）。報酬算出部６３は、風速が加速のピークである場合、対象区間における回生電力の加算値（トータル発電量）が所定の電力閾値以上であるか否かを判定する（ステップＳ２３）。報酬算出部６３は、トータル発電量が電力閾値以上である場合、第２レベルの報酬とする（ステップＳ２４）。一方、報酬算出部６３は、トータル発電量が電力閾値未満である場合、第２レベルより低い第１レベルの報酬とする（ステップＳ２５）。
報酬算出部６３は、トータル電力量をクリアし、ステップＳ２０に示す処理に戻る（ステップＳ２６）。
まず、報酬算出部６３は、風速が加速のピークであるか否かを判定する（ステップＳ２２）。報酬算出部６３は、風速が加速のピークである場合、対象区間における回生電力の加算値（トータル発電量）が所定の電力閾値以上であるか否かを判定する（ステップＳ２３）。報酬算出部６３は、トータル発電量が電力閾値以上である場合、第２レベルの報酬とする（ステップＳ２４）。一方、報酬算出部６３は、トータル発電量が電力閾値未満である場合、第２レベルより低い第１レベルの報酬とする（ステップＳ２５）。
報酬算出部６３は、トータル電力量をクリアし、ステップＳ２０に示す処理に戻る（ステップＳ２６）。
一方、ステップＳ２２において、風速が加速のピークでない場合、報酬算出部６３は、トータル発電量に、検出した回生電力を加算し、ステップＳ２０に示す処理に戻る（ステップＳ２７）。
＜第３の実施形態＞
次に第３の実施形態について説明する。
本実施形態では、風車２０の回転数を制御する場合に、風況に応じて、それぞれ異なる制御を行う点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
次に第３の実施形態について説明する。
本実施形態では、風車２０の回転数を制御する場合に、風況に応じて、それぞれ異なる制御を行う点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
本実施形態では、風況を減速区間、加速区間、及び強風区間に分類し、分類した区間の各々に基づいて、風車２０の回転数を制御するように、学習装置７０に学習させる。ここで、減速区間、及び加速区間は、第２の実施形態における減速区間、及び加速区間と同等である。強風区間は、風速が所定の強風判定閾値以上となる区間である。
風力発電においては、加速区間では、風速に応じた最大の回生電力が得られる回転数で風車を回転させることが望ましい。風速と回転数との関係は、風速が加速すれば、風車２０の回転数が増加する傾向にあるが、風車の慣性（イナーシャ）により、風速に対して一定ではない遅延が発生する。このため、風速に対応する回転数で風車を回転させた場合であっても、想定される最大の回生電力が得られない場合があった。このため、加速区間では、風車のイナーシャを考慮して制御されることが望ましい。
また、減速区間では、風速に応じた最大の回生電力が得られる回転数で風車を回転させ続けると、発電負荷により風車の回転が失速してしまう場合があった。このため、減速区間では、風速の変化（減速）の度合い（単位時間あたりの風速の変化量）を考慮して制御されることが望ましい。
また、強風区間では、回転数を減速させることで風車２０の回転速度が速度超過に陥らないように制御するが、減速し過ぎると回生電力が低下してしまう場合があった。このため、強風区間では、風速の変化（加速）の度合い（単位時間あたりの風速の変化量）と回生電力とを考慮して制御されることが望ましい。
そこで、本実施形態では、加速区間では、風速に応じて定まる風車２０の回転数の目標値を基準とし、基準である目標値を含む所定の範囲の回転数を目標の範囲として、目標の範囲内で風車２０の回転数を制御し、より大きな回生電力が得られる場合により高い報酬を与えることで、風況に応じてより適した目標値を探すように学習させる。
具体的には、強化学習部７１は、風力発電機本体１０の状態を示す風速と回転速度を示す情報を取得する。強化学習部７１は、取得した風速と回転速度を示す情報、及び回生電力の目標値を含む風車２０に設定可能な所定の範囲の回転数を示す情報に基づいて、報酬を手掛かりとしてより高い報酬が得られるように学習を進め、より適切な電力制御パラメータを出力する。ここで、風車２０に設定可能な所定の範囲の回転数とは、風速ごとに定まる回生電力が最大となる風車の回転数を含む所定の範囲の回転数である。この範囲には、風車２０や発電機３０の機械的な耐用限界等に基づいて定められる風車２０の回転数として許容される範囲内であることが望ましい。
また、報酬算出部６３は、加速区間では、より大きな回生電力が得られる場合により高い報酬を算出する。これにより、強化学習部７１は、加速区間では、目標の範囲内で回転数制御パラメータを出力し、出力した回転数制御パラメータが、風車２０に設定された場合の風車２０の回転の状態に応じて、より大きな回生電力が得られる制御を学習する。
また、本実施形態においては、減速区間では、報酬算出部６３は、風速の減速の度合いに応じて報酬を算出する。具体的には、報酬算出部６３は、風速の減速の度合いに対する、風車２０の回転速度の変化量がより小さい場合に、より高い報酬を算出する。これにより、強化学習部７１は、減速区間では、風速が減速する場合であっても、風車２０の回転速度が失速しないように維持するような制御を学習する。
また、報酬算出部６３は、減速区間とその後の加速区間とを合わせた区間（減速対象区間）における回生電力の加算値がより大きい場合に、より高い報酬を算出する。これにより、強化学習部７１は、減速区間で回生電力が小さくなった場合であっても、その後の加速区間でより大きな回生電力が出力されるような制御を学習する。
また、本実施形態においては、強風区間では、強風時において風速が加速する強風加速区間とその後の減速区間とを合わせた区間（強風対象区間）における回生電力の加算値がより大きい場合に、より高い報酬を算出する。これにより、強化学習部７１は、強風区間で減速させ過ぎてその後の減速区間で回生電力が小さくならないような制御を学習する。
なお、報酬算出部６３は、強風区間では、風車２０の回転速度が速度超過となった場合には、最も低い報酬を算出する。
これにより、報酬算出部６３は、強風区間で速度超過とならないような制御を学習する。
これにより、報酬算出部６３は、強風区間で速度超過とならないような制御を学習する。
図９は、第３の実施形態に係る制御装置６０の動作例を示すフローチャートである。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から、目標の範囲内の回転数制御パラメータを取得する（ステップＳ３０）。
次に、状態検出部６２は、風速、回転速度、及び回生電力を検出する（ステップＳ３１）。
次に、報酬算出部６３は、取得した風速に基づいて、区間を抽出するか否か判定する（ステップＳ３２）。報酬算出部６３は、取得した風速が強風から強風ではない通常の風速に変化した場合、加速のピークとなった場合、又は減速のピークとなった場合、区間を抽出すると判定する。報酬算出部６３は、区間を抽出しない場合、ステップＳ３０に戻る。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から、目標の範囲内の回転数制御パラメータを取得する（ステップＳ３０）。
次に、状態検出部６２は、風速、回転速度、及び回生電力を検出する（ステップＳ３１）。
次に、報酬算出部６３は、取得した風速に基づいて、区間を抽出するか否か判定する（ステップＳ３２）。報酬算出部６３は、取得した風速が強風から強風ではない通常の風速に変化した場合、加速のピークとなった場合、又は減速のピークとなった場合、区間を抽出すると判定する。報酬算出部６３は、区間を抽出しない場合、ステップＳ３０に戻る。
報酬算出部６３は、区間を抽出する場合、風速が所定の強風判定閾値以上となった場合、風速が所定の強風判定閾値未満となるまでを強風区間として抽出する。また、報酬算出部６３は、風速が加速のピークとなった場合、その後に風速が減速のピークとなるまでを減速区間として抽出する。報酬算出部６３は、風速が所定の減速のピークとなった場合、その後に風速が加速のピークとなるまでを加速区間として抽出する。
報酬算出部６３は、抽出した区間が強風区間であるか否かを判定する（ステップＳ３３）。報酬算出部６３は、抽出した区間が強風区間である場合、強風加速区間とその後の減速区間における回生電力の加算値に応じた報酬を算出する（ステップＳ３４）一方、報酬算出部６３は、区間が強風区間でない場合、抽出した区間が減速区間であるか否かを判定する（ステップＳ３５）。
報酬算出部６３は、抽出した区間が減速区間である場合、減速区間とその後の加速区間における回生電力の加算値に応じた報酬を算出する（ステップＳ３６）。
一方、報酬算出部６３は、抽出した区間が減速区間でない場合、つまり加速区間である場合、回生電力に応じた報酬を算出する（ステップＳ３７）。
報酬算出部６３は、抽出した区間が減速区間である場合、減速区間とその後の加速区間における回生電力の加算値に応じた報酬を算出する（ステップＳ３６）。
一方、報酬算出部６３は、抽出した区間が減速区間でない場合、つまり加速区間である場合、回生電力に応じた報酬を算出する（ステップＳ３７）。
＜第４の実施形態＞
次に第４の実施形態について説明する。
本実施形態では、風車２０の回転数を制御する場合に、風況に応じて限界風速を変化させる点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
次に第４の実施形態について説明する。
本実施形態では、風車２０の回転数を制御する場合に、風況に応じて限界風速を変化させる点において、他の実施形態と相違する。以下では、上述した実施形態と異なる点を説明し、上述した実施形態と同一または類似の機能を有する構成に同一の符号を付し、その説明を省略する。
限界風速とは、風力発電システム１による発電が可能な風速の上限である。限界風速は、例えば、風車２０や発電機３０の機械的な耐用限界等に基づいて決定される破壊風速に所定の余裕（マージン）を考慮して決定される。ここで、破壊風速とは、風車２０や発電機３０が損傷したり破壊されたりする程度の風速である。
風力発電システム１においては、風車２０が受ける風速が限界風速に達すると、運転を停止する。この場合、風力発電システム１は、発電が制御されているか否かに関わらず、強制的に運転を停止する。このため、強風時に発電が制御されている場合であっても、風速が限界風速に達すれば運転を停止せざるを得ず、回生電力の低減の要因となる場合があった。このため、強風時であっても発電が適切に制御されている場合には、限界風速をより破壊風速に近付ける方向に変化させ、発電を維持できるように制御されることが望ましい。
そこで、本実施形態では、強風区間における制御の安定度合に基づいて、限界風速に近づいている場合でも、安定した制御が行われている場合には破壊風速に近付ける方向に変化させ、より安定した制御が行われている場合により高い報酬を与えることで、強風時においても風況に応じてより安定した制御が行われるように学習させる。
具体的には、報酬算出部６３は、強風区間において、風車２０の回転速度と最大回転速度との差分、及び風車２０の回転速度の変化率を算出し、算出した差分と変化率とに基づいて、報酬を算出する。
また、報酬算出部６３は、風車２０の回転速度と最大回転速度との差分が所定の余裕閾値未満である場合、風車２０の回転速度の変化率が所定の変化閾値未満である場合より高い報酬（第２レベル）を算出し、当該回転速度の変化率が所定の変化閾値以上である場合より低い報酬（第１レベル）を算出する。風車２０の回転速度の変化率が低い場合、風車２０の回転速度の変化率が高い場合と比較して、風車２０の回転がより安定して制御されていると判断できるためである。
報酬算出部６３は、風車２０の回転速度と最大回転速度との差分が所定の余裕閾値以上である場合には、上述した当該回転速度の変化率が所定の変化閾値以上である場合の報酬（第１レベル）よりも高く、当該回転速度の変化率が所定の変化閾値未満である場合の報酬（第２レベル）よりも低い報酬（第３レベル）を算出する。風車２０の回転速度と最大回転速度との差分が余裕閾値以上である場合、強風時の制御として、過度に安全な方向により過ぎていると判断できるためである。
ここで、風車２０の最大回転速度とは、風車２０に回転させることが可能な回転速度の最大値である。最大回転速度は、例えば、強度設計上の上限とする。
また、本実施形態の制御装置６０では、強風区間において、風車２０の回転速度と最大回転速度との差分が所定の余裕閾値未満である場合であって、尚且つ、風車２０の回転速度の変化率が所定の変化閾値未満である場合、限界風速を破壊風速に近づく方向に変化させる。具体的には、限界風速を記憶する風速情報記憶部（不図示）に記憶させている限界風速を書き換える。これにより、変更後の限界風速に応じた制御が行われる。つまり、制御装置６０は、状態検出部６２により検出された風速に基づいて、風速情報記憶部に記憶された限界風速を参照し、風速が限界風速以上である場合には、風力発電機本体１０の動作を停止させる。
なお、限界風速の変更は、所定の限界風速変更値に基づいて、段階的に変更することが望ましい。限界風速変更値は、風車２０の構造や、立地条件、季節等に基づいて任意に設定されてよい。
図１０は、第４の実施形態に係る制御装置６０の動作例を示すフローチャートである。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から、回転数制御パラメータを取得する（ステップＳ４０）。
次に、状態検出部６２は、風速、回転速度、及び回生電力を検出する（ステップＳ４１）。
次に、報酬算出部６３は、取得した風速が強風であるか否か判定する（ステップＳ４２）。
まず、制御装置６０のパラメータ取得部６１は、強化学習部７１から、回転数制御パラメータを取得する（ステップＳ４０）。
次に、状態検出部６２は、風速、回転速度、及び回生電力を検出する（ステップＳ４１）。
次に、報酬算出部６３は、取得した風速が強風であるか否か判定する（ステップＳ４２）。
報酬算出部６３は、取得した風速が強風である場合、状態検出部６２から取得した回転速度と最大回転速度との差分を算出し、算出した差分が余裕閾値以上か否かを判定する（ステップＳ４３）。報酬算出部６３は、算出した差分が余裕閾値以上である場合、第３レベルの報酬を算出する（ステップＳ４４）。
報酬算出部６３は、算出した差分が余裕閾値未満である場合、状態検出部６２から取得した回転速度の変化率を算出し、算出した変化率が所定の変化閾値未満か否かを判定する（ステップＳ４５）。報酬算出部６３は、算出した変化率が変化閾値未満である場合、第２レベルの報酬（最高レベル）を算出する（ステップＳ４６）。この場合、制御装置６０は、限界風速を破壊風速に近付ける方向に変更する（ステップＳ４８）。
報酬算出部６３は、算出した変化率が変化閾値以上である場合、第１レベルの報酬（最低レベル）を算出する（ステップＳ４７）。
報酬算出部６３は、算出した変化率が変化閾値以上である場合、第１レベルの報酬（最低レベル）を算出する（ステップＳ４７）。
（第５の実施形態）
次に、第５の実施形態について説明する。
本実施形態では、制御装置６０が、学習済みモデルを用いて風車２０の回転数を制御する点において、上述した実施形態と相違する。
図１１は、第５の実施形態の変形例に係る風力発電システム１Ａの概略構成の一例を示すブロック図である。図１１に示すように、制御装置６０Ａは、学習済みモデル記憶部６５と、決定部６６と、制御部６７とを備える。
次に、第５の実施形態について説明する。
本実施形態では、制御装置６０が、学習済みモデルを用いて風車２０の回転数を制御する点において、上述した実施形態と相違する。
図１１は、第５の実施形態の変形例に係る風力発電システム１Ａの概略構成の一例を示すブロック図である。図１１に示すように、制御装置６０Ａは、学習済みモデル記憶部６５と、決定部６６と、制御部６７とを備える。
学習済みモデル記憶部６５は、学習済みモデルを記憶する。学習済みモデルは、制御対象である風力発電機本体１０の状態と、風力発電機本体１０に対する制御との関係を示す情報（関係情報）が格納されたデータベース（学習済みモデル）である。学習済みモデルは、風力発電機本体１０の状態に応じて、その状態に対応する風力発電機本体１０を制御する指標を示すパラメータ（以下、制御指標パラメータという）を推定するモデルである。
ここで、制御指標パラメータは、風力発電機本体１０を制御する指標となる情報であって、制御パラメータそのものであってもよいし、制御パラメータを導出するために用いられる情報であってもよい。
例えば、制御指標パラメータが風車２０の回転を制御する指標となる情報である場合、制御指標パラメータは、回転数制御パラメータそのものであってもよいし、風車２０の回転数や回転速度を数値で示すものであってもよいし、回転数や回転速度を増加させる、又は減少させるというような風車２０の回転数の制御を相対的に示すものであってもよい。
例えば、制御指標パラメータが回生電力を制御する指標となる情報である場合、制御指標パラメータは、電力制御パラメータそのものであってもよいし、回生電力の目標値を示すものであってもよいし、回生電力を増加させる、又は減少させるというような風回生電力の制御を相対的に示すものであってもよい。
学習済みモデルは、例えば、上述した実施形態において強化学習部７１により学習が実施されることにより作成された学習済みモデルであってもよいし、他の風車であって、風車２０と似た構造を有し、風車２０が設置された地域と似たような地域に設けられた風車における風力発電システムの状態と制御との関係を学習した学習済みモデルであってもよい。
決定部６６は、取得した制御指標パラメータに基づいて、風力発電機本体１０に対する制御に関する制御情報を決定する。ここでの制御情報は、制御指標パラメータに応じて決定される制御を示す情報であり、例えば風車の回転に関する回転情報であり、又、例えば回生電力に関する電力情報である。つまり、決定部６６は、回転指標パラメータに基づいて回転情報を決定する。また、決定部６６は、電力指標パラメータに基づいて電力情報を決定する。決定部６６は、決定した回転情報を、制御部６７に出力する。
ここでの回転情報には、例えば、風車の回転数を増加させるか、或いは減少させるかといった回転数の変化を示す情報の他、段階的に変化させるか、一気に変化させるかといった回転数を変化させる方法を示す情報も含まれる。
また、電力情報には、例えば、回生電力を増加させるか、或いは減少させるかといった回生電力の変化を示す情報の他、段階的に変化させるか、一気に変化させるかといった回生電力を変化させる度合を示す情報も含まれる。
制御部６７は、決定部６６により決定された制御情報に基づいて、風力発電機本体１０を制御する制御パラメータを決定する。制御部６７は、例えば、決定部６６により決定された回転情報に基づいて、風車２０の回転が許容範囲に収まり、尚且つ目標に近づくよう、風車２０の回転を制御する回転数制御パラメータを決定する。また、制御部６７は、例えば、決定部６６により決定された電力情報に基づいて、回生電力が目標に近づくよう、回生電力を制御する電力制御パラメータを決定する。制御部６７は、決定した制御パラメータを、パラメータ取得部６１を介して風力発電機本体１０に出力する。
ここで、風車２０の回転における許容範囲は、風車２０の回転数として許容される範囲のことであり、例えば、図４における特性ＥＦ、及び特性ＦＧよりも回転数が低い領域、つまり、図４のＡＥＦＧＣで囲まれた領域である。また、目標は、風車２０の回転数の目標となる値であり、例えば図４における特性ＥＦ、及び特性ＦＧに沿った値である。
（第６の実施形態）
次に、第６の実施形態について説明する。
本実施形態では、制御装置６０が学習済みモデルを用いて出力した制御指標パラメータ（以下、単にパラメータという）と、学習装置７０が出力したパラメータとのいずれかを用いて、風車２０の回転数を制御する点において、上述した実施形態と相違する。
図１２は、第６の実施形態の変形例に係る風力発電システム１Ｂの概略構成の一例を示すブロック図である。図１２に示すように、制御装置６０Ｂは、選択部６８を備える。
次に、第６の実施形態について説明する。
本実施形態では、制御装置６０が学習済みモデルを用いて出力した制御指標パラメータ（以下、単にパラメータという）と、学習装置７０が出力したパラメータとのいずれかを用いて、風車２０の回転数を制御する点において、上述した実施形態と相違する。
図１２は、第６の実施形態の変形例に係る風力発電システム１Ｂの概略構成の一例を示すブロック図である。図１２に示すように、制御装置６０Ｂは、選択部６８を備える。
選択部６８は、学習済みモデル記憶部６５に記憶される学習済みモデルから出力されるパラメータと、学習装置７０により出力されるパラメータとの何れか一方を決定部６６に出力する。選択部６８は、何れの一方を選択するかを、予め定められたフェーズに従って決定するようにしてよい。選択部６８は、例えば、風車２０の回転数の制御を学習装置70に学習させる学習フェーズにおいては、学習装置７０により出力されるパラメータを選択する。一方、選択部６８は、風車２０の回転数の制御を学習済みの学習モデルが学習済みモデル記憶部６５に記憶され、学習済みモデルを用いて風車２０の回転数の制御する制御フェーズにおいては、学習済みモデル記憶部６５に記憶される学習済みモデルから出力されるパラメータを選択する。
また、上述した少なくとも一つの実施形態では、強化学習部７１が学習した内容を、学習済みモデル記憶部６５やその他の図示しない記憶部に記憶させておき、記憶させた内容に基づいて、更に学習を進めるようにしてよい。これにより、風車２０に共通するある程度の基本的な制御について学習したモデルを、風車２０が設けられた地域の風況や、季節の風況、昼夜の時間帯による風況の相違や、天候等の状態に応じた制御を行うことが可能となる。
なお、上述した少なくとも一つの実施形態では、風車２０の回転数を制御するパラメータとして回転数制御パラメータが用いられる場合を例示して説明したが、これに限定されることはない。制御システム５０は、風車２０の回転数を制御するパラメータとして、回転速度や回転時間等を制御するようにしてもよい。この場合、風車２０の回転数を制御するパラメータは、例えば回転速度パラメータ、回転時間パラメータ等であってよい。このような、風車２０の回転数を制御するパラメータの総称として、回転制御パラメータが用いられてよい。つまり、回転数制御パラメータは、「回転数制御パラメータ」の一例である。
なお、上述した少なくとも一つの実施形態では、風車２０の回転数を制御するパラメータとして回転数制御パラメータが用いられる場合を例示して説明したが、これに限定されることはない。制御システム５０は、風車２０の回転数を制御するパラメータとして、回転速度や回転時間等を制御するようにしてもよい。この場合、風車２０の回転数を制御するパラメータは、例えば回転速度パラメータ、回転時間パラメータ等であってよい。このような、風車２０の回転数を制御するパラメータの総称として、回転制御パラメータが用いられてよい。つまり、回転数制御パラメータは、「回転数制御パラメータ」の一例である。
以上説明したように、第１の実施形態の制御システム５０は、風車２０の設置場所における風速を示す風速情報（例えば、風速センサ４１により検出された風速）、風車２０の回転に関する回転情報（例えば、回転速度センサ４２により検出された回転速度）、及び、風速と回転の関係情報であって許容範囲と目標とを示す関係情報（例えば、図４に示す、風速と回転数との関係）に基づいて、風速と回転との対応情報を学習する強化学習部７１と、風速と回転の対応情報を記憶する学習済みモデル記憶部６５と、風車の回転数を制御する回転制御パラメータを風車２０に設定した場合における風速を検出する状態検出部６２と、状態検出部６２により検出された風速、及び対応情報に基づいて、回転情報を決定する決定部６６と、決定部６６により決定された回転情報に基づいて、回転情報が許容範囲に収まり、尚且つ目標に近づくように、風車２０の回転を制御する制御部６７とを備える。これにより、実施形態の制御システム５０は、不安定な風況であっても風車２０の回転速度を最適化させるように制御を行うことが可能となる。
また、第１の実施形態の制御システム５０は、状態検出部６２により検出された風速、及び風車２０の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部６３を更に備え、強化学習部７１は、報酬に基づいて風速と回転との対応情報（例えば、回転数制御パラメータ）を学習する強化学習モデルである。これにより、実施形態の制御システム５０は、報酬手掛かりとしてより適切な制御を学習することができる。
また、第１の実施形態の制御システム５０では、報酬算出部６３は、状態検出部６２により検出された風速が強風であり、尚且つ、風車２０の回転速度が第１閾値以上である場合、第１レベルの報酬を算出する。また、報酬算出部６３は、状態検出部６２により検出された風速が強風であり、尚且つ、風車２０の回転速度が前記第１閾値より小さい第２閾値以上である場合、第１レベルより高い第２レベルの報酬を算出する。また、報酬算出部６３は、状態検出部６２により検出された風速が強風であり、尚且つ、風車２０の回転速度が第２閾値未満である場合、第１レベルより高く、尚且つ第２レベルより低い第３レベルの報酬を算出する。これにより、実施形態の制御システム５０は、風速が強風である場合に、回転速度が超過しないように制御することが可能である。また、回転速度が超過しない場合には、回転速度が速度不足となるよりも適正範囲となるように、学習させることが可能となるため、回転速度が超過し易い強風時にも、強制停止してしまうことを抑制し、また、発電電力が最大を維持するように学習させることができる。
また、第１の実施形態の学習装置７０は、風力発電システム１の風車２０の設置場所における風速を示す風速情報、及び風車２０の回転に関する回転情報に基づいて、風速と回転の対応情報を学習する強化学習部７１を備えるため、風速と風車の回転との状態に応じて、どのように風車の回転を制御すべきかを学習することができるため、風況が不安定であっても風車の回転をより適切に制御することが可能となる。
また、第１の実施形態の制御装置６０は、風力発電システム１の風車２０の回転数を制御する回転制御パラメータを風車２０に設定した場合における風速を検出する状態検出部６２と、状態検出部６２により検出された風速、及び、風速と風車の回転との対応情報（例えば、学習済みモデル記憶部６５に記憶された学習済みモデル）に基づいて、風車の回転に関する回転情報を決定する決定部６６と、決定部６６により決定された回転情報に基づいて、風車２０の回転を制御する制御部６７とを備える。これにより、実施形態の制御装置６０は、風速等の状態が学習済みモデルで学習済みの状態と似たような状態である場合に、学習済みモデルから出力された制御パラメータに応じた制御を行うことができ、より適切に制御することが可能となる。
以上説明したように、第２の実施形態の制御システム５０は、風車２０の設置場所における風速を示す風速情報（例えば、風速センサ４１により検出された風速）、風車２０の回転に関する回転情報（例えば、回転速度センサ４２により検出された回転速度）、発電システムにより発電される回生電力に関する電力情報（例えば、電圧検出部３２により検出された回生電力の電圧、および電流検出部３３により検出された回生電力の電流）及び、風速と回転と回生電力との関係情報であって回生電力の目標を示す関係情報に基づいて、風速と回転と回生電力との対応情報を学習する強化学習部７１と、風速と回転と回生電力の対応情報を記憶する学習済みモデル記憶部６５と、回生電力を制御する電力制御パラメータに基づいて整流・昇圧部３１を制御した場合における回生電力の変化、および風速を検出する状態検出部６２と、状態検出部６２により検出された回生電力と風速、及び対応情報に基づいて、電力情報を決定する決定部６６と、決定部６６により決定された電力情報に基づいて、電力情報の目標に近づくように、回生電力を制御する制御部６７とを備える。これにより、実施形態の制御システム５０は、風況が変化した場合であってもトータルの発電電力が最大となるように制御を行うことが可能となる。
また、第２の実施形態の制御システム５０は、状態検出部６２により検出された風速、及び回生電力に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部６３を更に備え、強化学習部７１は、報酬に基づいて風速と回生電力との対応情報（例えば、電力制御パラメータ）を学習する強化学習モデルである。これにより、実施形態の制御システム５０は、報酬を手掛かりとしてより適切な制御を学習することができる。
また、第２の実施形態の制御システム５０では、報酬算出部６３は、状態検出部６２により検出された回生電力が所定の電力閾値未満である場合、第１レベルの報酬を算出する。また、報酬算出部６３は、状態検出部６２により検出された回生電力が所定の電力閾値以上である場合、第１レベルより高い第２レベルの報酬を算出する。これにより、実施形態の制御システム５０は、回生電力が大きくなるように制御することが可能である。
また、第２の実施形態の制御システム５０では、報酬算出部６３は、状態検出部６２により検出された風速に基づいて、減速区間とその後の加速区間とを含む対象区間を抽出し、対象区間における、状態検出部６２により検出された回生電力の加算値が所定の電力閾値以上である場合、第２レベルの報酬を算出する。これにより、第２の実施形態の制御システム５０では、減速区間において回生電力を出力させ続けると風車の回転が失速する場合があっても、減速区間においては回生電力の出力を抑制して、加速区間で回生電力をより高く出力させるなどの制御を学習させ、対象区間におけるトータルの回生電力が大きくなるように制御することが可能である。
また、第２の実施形態の制御システム５０では、報酬算出部６３は、状態検出部６２により検出された風速が所定の強風判定閾値未満である場合に報酬を算出する。これにより、第２の実施形態の制御システム５０では、強風時にも回生電力を大きくしようとして過回転に陥ってしまうような間違った制御を抑制することが可能である。
また、第２の実施形態の制御システム５０では、報酬算出部６３は、状態検出部６２により検出された風速に基づいて、減速区間とその後の加速区間とを含む対象区間を抽出し、対象区間における、状態検出部６２により検出された回生電力の加算値が所定の電力閾値以上である場合、第２レベルの報酬を算出する。これにより、第２の実施形態の制御システム５０では、減速区間において回生電力を出力させ続けると風車の回転が失速する場合があっても、減速区間においては回生電力の出力を抑制して、加速区間で回生電力をより高く出力させるなどの制御を学習させ、対象区間におけるトータルの回生電力が大きくなるように制御することが可能である。
また、第２の実施形態の制御システム５０では、報酬算出部６３は、状態検出部６２により検出された風速が所定の強風判定閾値未満である場合に報酬を算出する。これにより、第２の実施形態の制御システム５０では、強風時にも回生電力を大きくしようとして過回転に陥ってしまうような間違った制御を抑制することが可能である。
また、第２の実施形態の学習装置７０は、風力発電システム１の風車２０の設置場所における風速を示す風速情報、風車２０の回転に関する回転情報、及び風力発電システム１により発電される回生電力に関する電力情報に基づいて、風速と回転と回生電力の対応情報を学習する強化学習部７１を備えるため、風速と風車の回転と回生電力の状態に応じて、どのように回生電力を制御すべきかを学習することができるため、風況が変化する場合であっても回生電力をより適切に制御することが可能となる。
また、第２の実施形態の制御装置６０は、風力発電システム１により発電された回生電力を制御する電力制御パラメータを整流・昇圧部３１に設定した場合における回生電力と風速とを検出する状態検出部６２と、状態検出部６２により検出された回生電力、風速、及び、風速と風車の回転と回生電力との対応情報（例えば、学習済みモデル記憶部６５に記憶された学習済みモデル）に基づいて、回生電力に関する電力情報を決定する決定部６６と、決定部６６により決定された電力情報に基づいて、回生電力を制御する制御部６７とを備える。これにより、実施形態の制御装置６０は、風速等の状態が学習済みモデルで学習済みの状態と似たような状態である場合に、学習済みモデルから出力された制御パラメータに応じた制御を行うことができ、より適切に制御することが可能となる。
以上説明したように、第３の実施形態の制御システム５０は、風車２０の設置場所における風速を示す風速情報（例えば、風速センサ４１により検出された風速）、風車２０の回転に関する回転情報（例えば、回転速度センサ４２により検出された回転速度）、発電システムにより発電される回生電力に関する電力情報（例えば、電圧検出部３２により検出された回生電力の電圧、および電流検出部３３により検出された回生電力の電流）及び、風速と回転と回生電力との関係情報であって回転数の目標を含む前記風車に設定可能な前記回転数の範囲を示す関係情報に基づいて、風速と回転と回生電力との対応情報を学習する強化学習部７１と、風速と回転と回生電力の対応情報を記憶する学習済みモデル記憶部６５と、回転制御パラメータに基づいて制御した場合における回転速度、及び風速を検出する状態検出部６２と、状態検出部６２により検出された回転速度と風速、及び対応情報に基づいて、回転情報を決定する決定部６６と、決定部６６により決定された回転情報に基づいて、風車２０の回転を制御する制御部６７とを備える。これにより、実施形態の制御システム５０は、風況が変化した場合であっても発電電力量が最大となるように制御を行うことが可能となる。
以上説明したように、第４の実施形態の制御システム５０は、風車２０の設置場所における風速を示す風速情報（例えば、風速センサ４１により検出された風速）、風車２０の回転に関する回転情報（例えば、回転速度センサ４２により検出された回転速度）、発電システムにより発電される回生電力に関する電力情報（例えば、電圧検出部３２により検出された回生電力の電圧、および電流検出部３３により検出された回生電力の電流）及び、風速と回転と回生電力との関係情報であって前記風速と前記風車が回転可能な回転数の最大値とを示す関係情報に基づいて、風速と回転と回生電力との対応情報を学習する強化学習部７１と、風速と回転と回生電力の対応情報を記憶する学習済みモデル記憶部６５と、回転制御パラメータに基づいて制御した場合における回転速度、および風速を検出する状態検出部６２と、状態検出部６２により検出された回転速度と風速、及び対応情報に基づいて、回転情報を決定する決定部６６と、決定部６６により決定された回転情報に基づいて、風車２０の回転を制御する制御部６７とを備える。これにより、実施形態の制御システム５０は、風況が変化した場合であってもトータルの発電電力が最大となるように制御を行うことが可能となる。
上述した実施形態における制御システム５０、制御装置６０、及び学習装置７０の各々が行う処理の全部または一部をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＦＰＧＡ等のプログラマブルロジックデバイスを用いて実現されるものであってもよい。
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
１ 風力発電システム
１０ 風力発電機本体
２０ 風車
３０ 発電機
３１ 整流・昇圧部
３２ 電圧検出部
３３ 電流検出部
４１ 風速センサ
４２ 回転速度センサ
５０ 制御システム
６０ 制御装置
６１ パラメータ取得部
６２ 状態検出部
６３ 報酬算出部
６４ 報酬出力部
６５ 学習済みモデル記憶部
６６ 決定部
６７ 制御部
７０ 学習装置
７１ 強化学習部
１０ 風力発電機本体
２０ 風車
３０ 発電機
３１ 整流・昇圧部
３２ 電圧検出部
３３ 電流検出部
４１ 風速センサ
４２ 回転速度センサ
５０ 制御システム
６０ 制御装置
６１ パラメータ取得部
６２ 状態検出部
６３ 報酬算出部
６４ 報酬出力部
６５ 学習済みモデル記憶部
６６ 決定部
６７ 制御部
７０ 学習装置
７１ 強化学習部
Claims (6)
- 発電システムの風車を制御する制御システムであって、
前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習する学習部と、
前記風速と前記回転の対応情報を記憶する記憶部と、
前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、
前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、
前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定する決定部と、
前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御する制御部と
を備え、
前記関係情報は、前記報酬算出部により算出された報酬であり、
前記報酬算出部は、
前記状態検出部により検出された風速が所定の風速閾値以上であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲における報酬よりも小さく適正範囲を超えた場合における報酬より大きい報酬を算出し、
前記状態検出部により検出された風速が所定の風速閾値未満であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲からの乖離の度合いに応じた報酬を算出し、
前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習する
制御システム。 - 発電システムの風車を制御する制御システムであって、
前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習する学習部と、
前記風速と前記回転の対応情報を記憶する記憶部と、
前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、
前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、
前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定する決定部と、
前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御する制御部と
を備え、
前記関係情報は、前記報酬算出部により算出された報酬であり、
前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習し、
前記報酬算出部は、前記状態検出部により検出された風速が所定の風速閾値以上である場合、前記風車の回転速度が第１閾値以上であるか否かに応じて報酬を算出し、
前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が第１閾値以上である場合に第１レベルの報酬を算出し、前記風車の回転速度が前記第１閾値より小さい第２閾値以上である場合、前記第１レベルより高い第２レベルの報酬を算出し、
前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が前記第２閾値未満である場合、前記第１レベルより高く、尚且つ前記第２レベルより低い第３レベルの報酬を算出する
制御システム。 - 風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転の対応情報を学習する学習部
を備え、制御装置において求められる報酬を取得可能な学習装置であり、
前記制御装置は、
前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、
前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、
を備え、
前記報酬算出部は、
前記状態検出部により検出された風速が所定の風速閾値以上であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲における報酬よりも小さく適正範囲を超えた場合における報酬より大きい報酬を算出し、
前記状態検出部により検出された風速が所定の風速閾値未満であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲からの乖離の度合いに応じた報酬を算出し、
前記関係情報は、前記報酬算出部により算出された報酬であり、
前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習する
学習装置。 - 風力発電システムの風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び前記風速と前記回転の関係情報であって前記回転の許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転の対応情報を学習する学習部
を備え、制御装置において求められる報酬を取得可能な学習装置であり、
前記制御装置は、
前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出する状態検出部と、
前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出する報酬算出部と、
を備え、
前記報酬算出部は、前記状態検出部により検出された風速が所定の風速閾値以上である場合、前記風車の回転速度が第１閾値以上であるか否かに応じて報酬を算出し、
前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が第１閾値以上である場合に第１レベルの報酬を算出し、前記風車の回転速度が前記第１閾値より小さい第２閾値以上である場合、前記第１レベルより高い第２レベルの報酬を算出し、
前記報酬算出部は、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が前記第２閾値未満である場合、前記第１レベルより高く、尚且つ前記第２レベルより低い第３レベルの報酬を算出し、
前記関係情報は、前記報酬算出部により算出された報酬であり、
前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習する
学習装置。 - 発電システムの風車を制御する制御方法であって、
学習部が、前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習し、
記憶部が、前記風速と前記回転の対応情報を記憶し、
状態検出部が、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出し、
報酬算出部が、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出し、
前記関係情報は、前記報酬算出部により算出された報酬であり、
前記学習部は、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習し、
決定部が、前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定し、
制御部が、前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御し、
前記報酬を算出することは、
前記状態検出部により検出された風速が所定の風速閾値以上であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲における報酬よりも小さく適正範囲を超えた場合における報酬より大きい報酬を算出し、
前記状態検出部により検出された風速が所定の風速閾値未満であり、かつ、風車の回転速度が適正範囲未満の場合に、前記適正範囲からの乖離の度合いに応じた報酬を算出することを含む
制御方法。 - 発電システムの風車を制御する制御方法であって、
学習部が、前記風車の設置場所における風速を示す風速情報、前記風車の回転に関する回転情報、及び、前記風速と前記回転の関係情報であって許容範囲と目標とを示す関係情報に基づいて、前記風速と前記回転との対応情報を学習し、
記憶部が、前記風速と前記回転の対応情報を記憶し、
状態検出部が、前記風車の回転数を制御する回転数制御パラメータを前記風車に設定した場合における前記回転数と風速を検出し、
報酬算出部が、前記状態検出部により検出された風速、及び前記風車の回転速度に基づいて、所定の報酬条件に応じた報酬を算出し、
前記関係情報は、前記報酬算出部により算出された報酬であり、
前記学習部が、報酬に基づいて前記風速と前記回転との対応情報を強化学習によって学習し、
決定部が、前記状態検出部により検出された前記回転数と風速、及び前記対応情報に基づいて、前記回転情報を決定し、
制御部が、前記決定部により決定された回転情報に基づいて、前記風車の回転が前記許容範囲に収まり、尚且つ前記目標に近づくように、前記風車を制御し、
前記報酬を算出することは、前記状態検出部により検出された風速が所定の風速閾値以上である場合、前記風車の回転速度が第１閾値以上であるか否かに応じて報酬を算出することを含み、
前記報酬を算出することは、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が第１閾値以上である場合に第１レベルの報酬を算出し、前記風車の回転速度が前記第１閾値より小さい第２閾値以上である場合、前記第１レベルより高い第２レベルの報酬を算出することを含み、
前記報酬を算出することは、前記状態検出部により検出された風速が前記風速閾値以上であり、尚且つ、前記風車の回転速度が前記第２閾値未満である場合、前記第１レベルより高く、尚且つ前記第２レベルより低い第３レベルの報酬を算出することを含む
制御方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018053507A JP7090442B2 (ja) | 2018-03-20 | 2018-03-20 | 制御システム、学習装置、及び制御方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018053507A JP7090442B2 (ja) | 2018-03-20 | 2018-03-20 | 制御システム、学習装置、及び制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019165599A JP2019165599A (ja) | 2019-09-26 |
| JP7090442B2 true JP7090442B2 (ja) | 2022-06-24 |
Family
ID=68066254
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2018053507A Active JP7090442B2 (ja) | 2018-03-20 | 2018-03-20 | 制御システム、学習装置、及び制御方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7090442B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11060504B1 (en) | 2020-02-07 | 2021-07-13 | General Electric Company | Systems and methods for continuous machine learning based control of wind turbines |
| DE102021210569B4 (de) | 2021-09-23 | 2023-08-24 | Zf Friedrichshafen Ag | Verfahren zum Betreiben einer Windenergieanlage in einem Windpark und Windparkmanager |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008017683A (ja) | 2006-06-05 | 2008-01-24 | Yaskawa Electric Corp | 風力発電装置の発電機制御方法およびその装置 |
| JP2010134863A (ja) | 2008-12-08 | 2010-06-17 | Hitachi Ltd | 制御対象の制御入力決定手段 |
| JP2014525063A (ja) | 2011-06-03 | 2014-09-25 | シーメンス アクチエンゲゼルシヤフト | 殊にガスタービンまたは風力タービンのような技術システムのデータドリブンモデルを計算機支援で形成する方法 |
| JP2017046487A (ja) | 2015-08-27 | 2017-03-02 | ファナック株式会社 | 磁束制御部を有する電動機制御装置、ならびに機械学習装置およびその方法 |
| JP2017204934A (ja) | 2016-05-11 | 2017-11-16 | 豊田通商株式会社 | 発電装置 |
| JP2019070346A (ja) | 2017-10-06 | 2019-05-09 | 富士通株式会社 | 風車制御プログラム、風車制御方法、および風車制御装置 |
-
2018
- 2018-03-20 JP JP2018053507A patent/JP7090442B2/ja active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008017683A (ja) | 2006-06-05 | 2008-01-24 | Yaskawa Electric Corp | 風力発電装置の発電機制御方法およびその装置 |
| JP2010134863A (ja) | 2008-12-08 | 2010-06-17 | Hitachi Ltd | 制御対象の制御入力決定手段 |
| JP2014525063A (ja) | 2011-06-03 | 2014-09-25 | シーメンス アクチエンゲゼルシヤフト | 殊にガスタービンまたは風力タービンのような技術システムのデータドリブンモデルを計算機支援で形成する方法 |
| JP2017046487A (ja) | 2015-08-27 | 2017-03-02 | ファナック株式会社 | 磁束制御部を有する電動機制御装置、ならびに機械学習装置およびその方法 |
| JP2017204934A (ja) | 2016-05-11 | 2017-11-16 | 豊田通商株式会社 | 発電装置 |
| JP2019070346A (ja) | 2017-10-06 | 2019-05-09 | 富士通株式会社 | 風車制御プログラム、風車制御方法、および風車制御装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2019165599A (ja) | 2019-09-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| DK1562281T3 (en) | Wind Generator | |
| Tan et al. | Optimum control strategies in energy conversion of PMSG wind turbine system without mechanical sensors | |
| EP2644888A2 (en) | Control system and method for avoiding overspeed of a wind turbine | |
| CN103206344B (zh) | 用于操作风力涡轮机的方法 | |
| CN102472249A (zh) | 风力发电装置、风力发电装置的控制方法、风力发电系统及风力发电系统的控制方法 | |
| EP2918826A1 (en) | Method for operating a power dissipating unit in a wind turbine | |
| US20120187684A1 (en) | Device, system and method to lower starting torque for electrical system | |
| JP7090442B2 (ja) | 制御システム、学習装置、及び制御方法 | |
| JP5483901B2 (ja) | 風力発電システム、及び風力発電システムの失速制御方法 | |
| US20210033062A1 (en) | Turbine control | |
| JP2017204934A (ja) | 発電装置 | |
| Arifujjaman et al. | Modeling and control of a small wind turbine | |
| JP7090443B2 (ja) | 制御システム、学習装置、及び制御方法 | |
| JP7090444B2 (ja) | 制御システム、学習装置、及び制御方法 | |
| JP7090445B2 (ja) | 制御システム、学習装置、制御装置、及び制御方法 | |
| CN110024252B (zh) | 用于将电功率馈入到供电网中的方法 | |
| JP7090439B2 (ja) | 制御システム、学習装置、制御装置、及び制御方法 | |
| US20220077797A1 (en) | System and method for controlling drivetrain damping during multiple low-voltage ride through events | |
| CN116181585A (zh) | 用于响应风力涡轮的摩擦系数信号的系统和方法 | |
| JP7090440B2 (ja) | 制御システム、学習装置、制御装置、及び制御方法 | |
| Wang et al. | ANN based pitch angle controller for variable speed variable pitch wind turbine generation system | |
| JP2019157841A (ja) | 制御装置、及び制御方法 | |
| Issad et al. | Direct torque control using space vector modulation of wind pumping system with storage | |
| CN104763584B (zh) | 发电机转速控制方法及装置 | |
| JP2004187431A (ja) | 二次電池を備えた風力発電システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210120 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210127 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211102 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211223 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220517 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220614 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7090442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |