JP7314831B2 - 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 - Google Patents

Description

本発明は、車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置に関する。

たとえば下記特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。

特開２０１６－６３２７号公報

ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来は、車両の状態に応じた車両内の電子機器の操作量等の適合には、熟練者が多くの工数をかけていた。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．回転電機および内燃機関を備えた車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶装置に記憶された状態で、センサの検出値に基づく前記車両の状態、および前記内燃機関の稼働状態における前記内燃機関のトルクが前記車両の推力の生成に利用されているか否かを特定する変数である特定変数を取得する取得処理と、前記電子機器を操作する操作処理と、前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行装置に実行させ、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記報酬算出処理は、前記車両の特性が所定の特性であるときに与える前記報酬を、前記内燃機関の稼働状態における前記内燃機関のトルクが前記車両の推力の生成に利用されている場合に対して利用されていない場合に変更する変更処理を含む車両用制御データの生成方法である。

上記方法では、電子機器の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との適切な関係を設定することができる。したがって、車両の状態と行動変数との適切な関係を設定する際、熟練者に要求される工数を削減できる。

ところで、内燃機関のトルクが車両の推力の生成に利用される場合と、推力の生成に利用されずに発電のみに利用される場合とでは、たとえば内燃機関の操作部等の電子機器の適切な操作が異なりうる。そこで上記方法では、特定変数に応じて報酬の与え方を変更しつつ強化学習によって関係規定データを学習することにより、内燃機関のトルクの用途にとって適切な制御を実行可能な関係規定データを学習できる。

２．前記報酬算出処理は、エネルギ利用効率が高い場合に低い場合よりも大きい報酬を与える処理を含み、前記変更処理は、前記内燃機関の稼働状態における前記内燃機関のトルクが前記車両の推力の生成に利用されていない場合に利用されている場合と比較して、前記エネルギ利用効率を高めることがより大きい報酬をうるうえで有利となるように前記報酬を変更する処理を含む上記１記載の車両用制御データの生成方法である。

上記の変更処理によれば、内燃機関のトルクが車両の推力の生成に利用されていない場合には車両のアクセルレスポンスに関する要求要素等が存在しないことから、内燃機関のトルクが車両の推力の生成に利用されている場合と比較してエネルギ利用効率を高めることが有利となる報酬を与える。これにより、内燃機関のトルクが車両の推力の生成に利用されていない場合に、燃料を効率的に電気エネルギに変換することが可能となる。

３．前記更新処理によって更新された前記関係規定データに基づき、前記車両の状態と前記期待収益を最大化する前記行動変数の値とを対応付けることによって前記車両の状態を入力とし前記期待収益を最大化する前記行動変数の値を出力する制御用写像データを生成する処理を前記実行装置に実行させる上記１または２記載の車両用制御データの生成方法である。

上記方法では、強化学習によって学習された関係規定データに基づき、制御用写像データを生成する。そのため、その制御用写像データを制御装置に実装することにより、車両の状態および行動変数に基づき、期待収益を最大化する行動変数の値を簡易に設定することが可能となる。

４．上記１または２記載の前記記憶装置および前記実行装置を備え、前記操作処理は、前記関係規定データに基づき前記車両の状態に応じた行動変数の値に従って前記電子機器を操作する処理を含む車両用制御装置である。

上記構成では、強化学習によって学習された関係規定データに基づき行動変数の値が設定され、それに基づき電子機器が操作されることにより、期待収益を大きくするように電子機器を操作することができる。

５．上記４記載の前記実行装置および前記記憶装置を備え、前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システムである。

上記構成では、更新処理を第２実行装置によって実行することにより、更新処理を第１実行装置が実行する場合と比較して、第１実行装置の演算負荷を軽減できる。
なお、第２実行装置が車載装置とは別の装置であることは、第２実行装置が車載装置ではないことを意味する。

６．上記５記載の第１実行装置を備える車両用制御装置である。
７．上記５記載の第２実行装置を備える車両用学習装置である。

本実施形態にかかる制御装置および駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかるマップデータを生成するシステムを示す図。 同実施形態にかかるシステムが実行する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細を示す流れ図。 同実施形態にかかるマップデータの生成処理の手順を示す流れ図。 第２の実施形態にかかる制御装置および駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 第３の実施形態にかかるシステムの構成を示す図。 （ａ）および（ｂ）は、同実施形態にかかるシステムが実行する処理の手順を示す流れ図。

以下、車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置にかかる実施形態について図面を参照しつつ説明する。
＜第１の実施形態＞
図１に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置の構成を示す。

図１に示すように、内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４および燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０およびピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８には、クラッチ４０を介してモータジェネレータ４２の回転軸４２ａが機械的に連結可能とされている。モータジェネレータ４２の各端子には、インバータ４４を介して直流電圧源であるバッテリ４６の端子電圧が交流電圧に変換されて印加される。

モータジェネレータ４２の回転軸４２ａには、クラッチ４８、およびロックアップクラッチ５２を備えたトルクコンバータ５０を介して、変速装置６０の入力軸６２が機械的に連結可能とされている。変速装置６０は、入力軸６２の回転速度と出力軸６４の回転速度との比である変速比を可変とする装置である。出力軸６４には、駆動輪６６が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６および点火装置２６等の内燃機関１０の操作部を操作する。また、制御装置７０は、モータジェネレータ４２を制御対象とし、そのトルクや回転速度等を制御すべく、インバータ４４を操作する。また、制御装置７０は、トルクコンバータ５０を制御対象とし、ロックアップクラッチ５２の係合状態を制御すべくロックアップクラッチ５２を操作する。また、制御装置７０は、変速装置６０を制御対象とし、その制御量としての変速比を制御すべく変速装置６０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、インバータ４４、ロックアップクラッチ５２、変速装置６０、クラッチ４０，４８のそれぞれの操作信号ＭＳ１～ＭＳ８を記載している。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａや、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度（スロットル開口度ＴＡ）、クランク角センサ８４の出力信号Ｓｃｒを参照する。また制御装置７０は、アクセルセンサ８６によって検出されるアクセルペダル８８の踏み込み量（アクセル操作量ＰＡ）や、車速センサ９０によって検出される車速Ｖを参照する。また、制御装置７０は、騒音センサ９２によって検出される車室内の騒音強度ＶＮや、振動センサ９４によって検出される車室内の振動強度ＶＶ、電流センサ９６によって検出されるモータジェネレータ４２を流れる電流ｉｕ，ｉｖ，ｉｗを参照する。

制御装置７０は、クラッチ４０，４８を締結状態として、内燃機関１０の動力を駆動輪６６に伝達し、車両ＶＣ１の推力の生成に内燃機関１０のトルクを利用する駆動モードと、クラッチ４８を解放状態とし、内燃機関１０の動力をモータジェネレータ４２によって電気エネルギに変換してバッテリ４６を充電する発電モードとを実行する。なお、本実施形態において、制御装置７０は、駆動モードにおける内燃機関１０とモータジェネレータ４２との動力を、車両ＶＣ１に対する要求動力に応じて予め定められた配分比で配分して制御する。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリ（記憶装置７６）、および周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。

ＲＯＭ７４には、制御プログラム７４ａが記憶されている。制御プログラム７４ａは、内燃機関１０の稼働時における制御の実行を指令するプログラムである。一方、記憶装置７６には、マップデータＤＭが記憶されている。マップデータＤＭは、駆動モード用のマップデータである駆動用マップデータＤＭ１と、発電モード用のマップデータである発電用マップデータＤＭ２とを含む。ここで、駆動用マップデータＤＭ１は、駆動モードにおける現在の変速比ＧＲ、車速Ｖ、およびアクセル操作量ＰＡの時系列データを入力変数とし、スロットル開口度ＴＡの指令値であるスロットル開口度指令値ＴＡ＊および変速比ＧＲの指令値である変速比指令値ＧＲ＊を出力変数とするマップデータである。一方、発電用マップデータＤＭ２は、内燃機関１０に対する出力指令値Ｐ＊および回転速度ＮＥを入力変数とし、スロットル開口度指令値ＴＡ＊を出力変数とするマップデータである。なお、マップデータとは、入力変数の離散的な値と、入力変数の値のそれぞれに対応する出力変数の値と、の組データである。

図２に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図２に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａをＣＰＵ７２が、たとえば、内燃機関１０が稼働状態であることを条件に所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

図２に示す一連の処理において、ＣＰＵ７２は、まず、駆動モードであるか発電モードであるかを特定する特定変数ＶＵを取得する（Ｓ１０）。そして、ＣＰＵ７２は、特定変数ＶＵが駆動モードを示すと判定する場合（Ｓ１２：ＹＥＳ）、アクセル操作量ＰＡの６個のサンプリング値「ＰＡ（１），ＰＡ（２），…ＰＡ（６）」からなる時系列データと、現在の変速比ＧＲと、車速Ｖとを取得する（Ｓ１４）。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う６個のサンプリング値によって時系列データを構成する。

そして、ＣＰＵ７２は、駆動用マップデータＤＭ１を用いて、スロットル開口度指令値ＴＡ＊および変速比指令値ＧＲ＊をマップ演算する（Ｓ１６）。ここで、マップ演算は、たとえば、入力変数の値がマップデータの入力変数の値のいずれかに一致する場合、対応するマップデータの出力変数の値を演算結果とするのに対し、一致しない場合、マップデータに含まれる複数の出力変数の値の補間によって得られる値を演算結果とする処理とすればよい。

そして、ＣＰＵ７２は、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、変速装置６０に操作信号ＭＳ６を出力して変速比を操作する（Ｓ１８）。ここで、本実施形態では、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御することを例示することから、スロットル開口度指令値ＴＡ＊が同一の値であっても、操作信号ＭＳ１が互いに異なる信号となりうるものである。

これに対し、ＣＰＵ７２は、発電モードであると判定する場合（Ｓ１２：ＹＥＳ）、内燃機関１０に対する出力の指令値である出力指令値Ｐ＊と、回転速度ＮＥとを取得する（Ｓ２０）。なお、回転速度ＮＥは、ＣＰＵ７２により、出力信号Ｓｃｒに基づき算出される。次にＣＰＵ７２は、発電用マップデータＤＭ２を用いて、出力指令値Ｐ＊および回転速度ＮＥを入力変数とし、スロットル開口度指令値ＴＡ＊をマップ演算する（Ｓ２２）。そして、ＣＰＵ７２は、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊に制御すべく、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作する（Ｓ２４）。

なお、ＣＰＵ７２は、Ｓ１８，Ｓ２４の処理が完了する場合、図２に示す一連の処理を一旦終了する。
図３に、上記マップデータＤＭを生成するシステムを示す。

図３に示すように、本実施形態では、内燃機関１０のクランク軸２８に、クラッチ４０を介してモータジェネレータ４２を機械的に連結可能とし、モータジェネレータ４２に、クラッチ４８、トルクコンバータ５０および変速装置６０を介してダイナモメータ１００を機械的に連結可能とする。そして内燃機関１０を稼働させた際の様々な状態変数がセンサ群１０２によって検出され、検出結果が、マップデータＤＭを生成するコンピュータである生成装置１１０に入力される。なお、センサ群１０２には、図１に示した車両ＶＣ１に搭載されるセンサ等が含まれる。

生成装置１１０は、ＣＰＵ１１２、ＲＯＭ１１４、電気的に書き換え可能な不揮発性メモリ（記憶装置１１６）、および周辺回路１１８を備えており、それらがローカルネットワーク１１９によって通信可能とされたものである。ここで、記憶装置１１６には、駆動用規定データＤＲ１および発電用規定データＤＲ２を含む関係規定データＤＲが記憶されている。駆動用規定データＤＲ１は、状態変数としての、アクセル操作量ＰＡの時系列データ、車速Ｖおよび変速比ＧＲと、行動変数としてのスロットル開口度指令値ＴＡ＊および変速比指令値ＧＲ＊との関係を規定するデータである。発電用規定データＤＲ２は、状態変数としての、内燃機関１０の出力指令値Ｐ＊および回転速度ＮＥと、行動変数としてのスロットル開口度指令値ＴＡ＊との関係を規定するデータである。また、ＲＯＭ１１４には、強化学習によって、関係規定データＤＲを学習する学習プログラム１１４ａが記憶されている。

図４に、生成装置１１０が実行する処理の手順を示す。図４に示す処理は、ＲＯＭ１１４に記憶された学習プログラム１１４ａを、ＣＰＵ１１２が実行することにより実現される。

図４に示す一連の処理において、ＣＰＵ１１２は、まず、特定変数ＶＵの値を設定する（Ｓ３０）。次にＣＰＵ１１２は、Ｓ３０によって設定した特定変数ＶＵの値が、駆動モードに対応する値であるか否かを判定する（Ｓ３２）。そしてＣＰＵ１１２は、駆動モードであると判定する場合（Ｓ３２：ＹＥＳ）、内燃機関１０を稼働させた状態において、状態ｓとして、アクセル操作量ＰＡの時系列データと、現在の変速比ＧＲと、車速Ｖと、を設定する（Ｓ３４）。ここでの時系列データは、Ｓ１４の処理におけるものと同様のデータである。ただし、図３に示すシステムにおいては、アクセルペダル８８は存在しない。そのため、アクセル操作量ＰＡを、生成装置１１０が車両ＶＣ１の状態を模擬することによって疑似的に生成されたものとし、疑似的に生成されたアクセル操作量ＰＡを、センサの検出値に基づく車両の状態とみなす。また、車速Ｖは、実際に車両が存在すると仮定した場合の車両の走行速度としてＣＰＵ１１２によって算出されるものであり、本実施形態では、この車速を、センサの検出値に基づく車両の状態とみなす。詳しくはＣＰＵ１１２は、クランク角センサ８４の出力信号Ｓｃｒに基づきクランク軸２８の回転速度ＮＥを算出し、回転速度ＮＥと変速比ＧＲとに基づき車速Ｖを算出する。

そして、ＣＰＵ７２は、駆動用規定データＤＲ１が定める方策πに従い、Ｓ３４の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊および変速比指令値ＧＲ＊からなる行動ａを設定する（Ｓ３６）。

本実施形態において、関係規定データＤＲは、行動価値関数Ｑおよび方策πを定めるデータであり、行動価値関数Ｑは、テーブル形式のデータである。特に、駆動用規定データＤＲ１が規定する行動価値関数Ｑは、状態ｓおよび行動ａの１０次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓおよび行動ａのとりうる値の全組み合わせの一部が、人の知見等によって削減されたものである。すなわち、たとえばアクセル操作量ＰＡの時系列データのうち隣接する２つのサンプリング値の１つがアクセル操作量ＰＡの最小値となりもう１つが最大値となるようなことは、人によるアクセルペダル８８の操作からは生じえないとして、行動価値関数Ｑが定義されていない。また、変速比ＧＲが２速から４速へと急激に変化することを回避すべく、たとえば現在の変速比ＧＲが２速の場合、とりうる行動ａとしての変速比指令値ＧＲ＊を１速と２速と３速とに制限している。すなわち、状態ｓとしての変速比ＧＲが２速の場合には４速以上の行動ａについては定義されていない。本実施形態では、人の知見等に基づく次元削減によって、行動価値関数Ｑを定義する独立変数の取りうる値を、１０の５乗個以下、より望ましくは１０の４乗個以下に制限する。

次にＣＰＵ１１２は、設定されたスロットル開口度指令値ＴＡ＊および変速比指令値ＧＲ＊に基づき、Ｓ１８の処理と同様にして操作信号ＭＳ１，ＭＳ６を出力する（Ｓ３８）。次にＣＰＵ１１２は、回転速度ＮＥ、変速比ＧＲ、トルクコンバータ５０に入力されるトルクＴｒｑ、トルクコンバータ５０への入力トルクの指令値であるトルク指令値Ｔｒｑ＊、振動強度ＶＶおよび騒音強度ＶＮを取得する（Ｓ４０）。ここで、ＣＰＵ１１２は、トルクＴｒｑを、ダイナモメータ１００が生成する負荷トルクと変速装置６０の変速比とに基づき算出する。また、トルク指令値Ｔｒｑ＊は、アクセル操作量ＰＡおよび変速比ＧＲに応じて設定される。なお、ここでは、変速比指令値ＧＲ＊が強化学習の行動変数であることから、変速比指令値ＧＲ＊がトルク指令値Ｔｒｑ＊を、都度の運転状態において内燃機関１０やモータジェネレータ４２で実現できる最大トルク以下とするものとなっているとは限らない。そのため、トルク指令値Ｔｒｑ＊は、都度の状態において内燃機関１０やモータジェネレータ４２で実現できる最大トルク以下の値とは限らない。

一方、ＣＰＵ１１２は、発電モードであると判定する場合（Ｓ３２：ＮＯ）、状態ｓとして、出力指令値Ｐ＊および回転速度ＮＥを設定する（Ｓ５０）。ここで、出力指令値Ｐ＊は、ＣＰＵ１１２により、車両によって生成される指令値を模擬した値に設定される。出力指令値Ｐ＊は、通常、バッテリ４６の端子電圧や充放電電流に基づき算出されるバッテリ４６の充電率等に基づき設定されるものであることから、センサの検出値に基づく車両の状態とみなす。

そしてＣＰＵ１１２は、発電用規定データＤＲ２によって規定される方策πに従い、Ｓ５０の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊である行動ａを設定する（Ｓ５２）。次にＣＰＵ１１２は、設定されたスロットル開口度指令値ＴＡ＊に基づき、Ｓ２４の処理と同様にして操作信号ＭＳ１を出力する（Ｓ５４）。次に、ＣＰＵ７２は、トルクＴｒｑ、トルク指令値Ｔｒｑ＊、振動強度ＶＶおよび騒音強度ＶＮを取得する（Ｓ５６）。なお、ここでのトルク指令値Ｔｒｑ＊は、出力指令値Ｐ＊から回転速度ＮＥを除算した値とする。また、ここでのトルクＴｒｑは、モータジェネレータ４２に流れる電流ｉｕ，ｉｖ，ｉｗから算出されるモータジェネレータ４２の負荷トルクとする。

次にＣＰＵ１１２は、Ｓ３０の処理が実行されたタイミングおよび後述のＳ４４の処理がなされたタイミングのうちのいずれか遅い方から所定期間が経過したか否かを判定する（Ｓ４２）。そして、ＣＰＵ１１２は、所定期間が経過したと判定する場合（Ｓ４２：ＹＥＳ）、強化学習によって行動価値関数Ｑを更新する（Ｓ４４）。ここで、所定期間は、次の（ａ）または（ｂ）の期間とすればよい。

（ａ）トルク指令値Ｔｒｑ＊の変化量の絶対値が第１所定値以上となってから、第１所定値よりも小さい第２所定値以下となり所定の長さを有する時間が経過するまでの期間である。

（ｂ）トルク指令値Ｔｒｑ＊の変化量の絶対値が第１所定値以上となるまでの期間である。
ただし、上記（ａ）および（ｂ）によって定まる期間の途中であっても、駆動モードと発電モードとのいずれか一方から他方に切り替わると、そのタイミングを、所定期間の始点または終点とする。

図５に、Ｓ４４の処理の詳細を示す。
図５に示す一連の処理において、ＣＰＵ１１２は、所定期間内における回転速度ＮＥ、トルク指令値Ｔｒｑ＊、およびトルクＴｒｑの３つのサンプリング値の組からなる時系列データと、状態ｓおよび行動ａの時系列データと、を取得する（Ｓ６０）。図５には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、トルク指令値Ｔｒｑ＊（１）とトルク指令値Ｔｒｑ＊（２）とは、サンプリングタイミングが互いに異なるものである。また、所定期間内の行動ａの時系列データを、行動集合Ａｊとし、所定期間内の状態ｓの時系列データを、状態集合Ｓｊと定義する。

次にＣＰＵ１１２は、トルクＴｒｑおよび回転速度ＮＥの時系列データに基づき、内燃機関１０およびモータジェネレータ４２の効率ηｅの時系列データと、基準効率ηｅｒの時系列データとを算出する（Ｓ６２）。

詳しくは、駆動モードにおいてモータジェネレータ４２のトルクがゼロの場合や発電モードの場合、ＣＰＵ１１２は、「ｋ＝１，２，３，…」として、トルクＴｒｑ（ｋ）と回転速度ＮＥ（ｋ）によって定まる動作点に基づき、内燃機関１０の効率ηｅ（ｋ）と基準効率ηｅｒとを算出する。ここで、効率ηｅとは、内燃機関１０の動作点毎に定義され、内燃機関１０の燃焼室２４内の混合気の空燃比を所定値とし点火時期を所定時期とした場合に生じる燃焼エネルギのうち動力として取り出せる割合とする。また、基準効率ηｅｒは、内燃機関１０の出力毎に定義され、内燃機関１０の燃焼室２４内の混合気の空燃比を所定値とし点火時期を所定時期とした場合に生じる燃焼エネルギのうち動力として取り出せる割合の最大値に「１」よりも小さい所定の係数を乗算した値とする。すなわち、基準効率ηｅｒは、動力として取り出せる割合が最大となる動作点における同割合に所定の係数を乗算した値である。具体的には、たとえば、トルクＴｒｑおよび回転速度ＮＥを入力変数とし効率ηｅを出力変数とするマップデータがＲＯＭ１１４に記憶された状態で、ＣＰＵ１１２により効率ηｅがマップ演算される。また、たとえば、トルクＴｒｑおよび回転速度ＮＥの積である出力を入力変数とし基準効率ηｅｒを出力変数とするマップデータがＲＯＭ１１４に記憶された状態で、ＣＰＵ１１２により基準効率ηｅｒがマップ演算される。

なお、駆動モードにおいてモータジェネレータ４２のトルクがゼロよりも大きい場合、ＣＰＵ１１２は、モータジェネレータ４２に流れる電流に基づき、モータジェネレータ４２のトルクを算出し、これをトルクＴｒｑから減算することによって、内燃機関１０のトルクを算出する。そして、ＣＰＵ１１２は、モータジェネレータ４２の動作点を定めるモータジェネレータ４２のトルクと回転速度とに基づき、インバータ４４への入力電力に対するモータジェネレータ４２の出力の割合である効率を算出するとともに、内燃機関１０のトルクと回転速度とに基づき内燃機関１０の効率を算出し、それらの平均値として効率ηｅを算出する。また、基準効率ηｅｒについては、トルクコンバータ５０に入力される動力毎に定義され、効率ηｅとしてとり得る最大値に所定の係数を乗算した値とする。

次にＣＰＵ１１２は、効率ηｅ（ｋ）を基準効率ηｅｒ（ｋ）で除算した値から「１」を減算した値の積算値に係数Ｋを乗算した値を報酬ｒに代入する（Ｓ６４）。この処理によれば、基準効率ηｅｒよりも効率ηｅが大きい場合には、小さい場合よりも報酬ｒが大きい値となる。

ここで、ＣＰＵ１１２は、係数Ｋを、特定変数ＶＵに応じて可変とする。詳しくは、特定変数ＶＵが発電モードを示す場合、駆動モードを示す場合と比較して、係数Ｋを大きい値に設定する。この設定は、発電モードにおいて所定の報酬を与えるときの効率の基準を低くする設定である。すなわち、同一の報酬をうるときの効率ηｅが発電モードにおいて低くなる。これにより、発電モードにおいて、効率ηｅが高い動作点が選択されると、駆動モードと比較して、報酬ｒが大きい値とされる。

次にＣＰＵ１１２は、所定期間内の任意のトルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件（ア）が成立するか否かを判定する（Ｓ６６）。

ここで、ＣＰＵ１１２は、規定量ΔＴｒｑを、所定期間の開始時におけるトルク指令値Ｔｒｑ＊の単位時間当たりの変化量ΔＴｒｑ＊と特定変数ＶＵの値とによって可変設定する。すなわち、ＣＰＵ１１２は、変化量ΔＴｒｑ＊の絶対値が大きい場合には過渡時に関するエピソードであるとして、定常時である場合と比較して、規定量ΔＴｒｑを大きい値に設定する。また、ＣＰＵ１１２は、発電モードの場合、駆動モードの場合と比較して、規定量ΔＴｒｑを大きい値に設定する。

ＣＰＵ７２は、規定量ΔＴｒｑ以下であると判定する場合（Ｓ６６：ＹＥＳ）、報酬ｒに「Ｋ１・ｎ」を加算する一方（Ｓ６８）、偽であると判定する場合（Ｓ６６：ＮＯ）、報酬ｒから「Ｋ１・ｎ」を減算する（Ｓ７０）。ここで、「ｎ」は、所定期間における効率ηｅのサンプリング数を示す。Ｓ６６～Ｓ７０の処理は、トルクのレスポンスに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理である。

ここで、ＣＰＵ１１２は、係数Ｋ１を特定変数ＶＵに応じて可変設定する。詳しくは、ＣＰＵ１１２は、駆動モードの場合に発電モードの場合と比較して、係数Ｋ１を大きい値に設定する。

ＣＰＵ１１２は、Ｓ６８，Ｓ７０の処理が完了する場合、騒音強度ＶＮが閾値ＶＮｔｈ以下である旨の条件（イ）と振動強度ＶＶが閾値ＶＶｔｈ以下である旨の条件（ウ）との論理積が真であるか否かを判定する（Ｓ７２）。ここで、ＣＰＵ１１２は、発電モードの場合に駆動モードの場合と比較して閾値ＶＮｔｈ，ＶＶｔｈを小さい値に設定する。これは、駆動モードにおいては、車両ＶＣ１が走行していることから、停車時と比較して騒音および振動としてより大きい強度を許容範囲とする設定である。ＣＰＵ１１２は、論理積が真であると判定する場合（Ｓ７２：ＹＥＳ）、報酬ｒに「Ｋ２・ｎ」を加算する（Ｓ７４）一方、論理積が偽であると判定する場合（Ｓ７２：ＮＯ），報酬ｒから「Ｋ２・ｎ」を減算する（Ｓ７６）。なお、Ｓ７２～Ｓ７６の処理は、車室内の状態が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理である。

ここで、ＣＰＵ１１２は、係数Ｋ２を特定変数ＶＵに応じて可変設定する。詳しくは、ＣＰＵ１１２は、発電モードの場合に駆動モードの場合と比較して、係数Ｋ２を大きい値に設定する。

ＣＰＵ１１２は、Ｓ７４，Ｓ７６の処理が完了する場合には、図３に示した記憶装置７６に記憶されている駆動用規定データＤＲ１および発電用規定データＤＲ２のうちＳ３０の処理によって指定されている方のデータを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ１１２は、上記Ｓ６０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ７８）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次に、上記Ｓ６０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ８０）。ここで、平均化は、Ｓ７８の処理がなされた回数によって、Ｓ７８の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は、ゼロとすればよい。

次にＣＰＵ１１２は、上記Ｓ６０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときの行動を、行動Ａｊ＊に代入する（Ｓ８２）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ６０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次に、ＣＰＵ１１２は、上記Ｓ６０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ８４）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ８２によって選択された行動Ａｊ＊の選択確率を、「（１－ε）＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜－１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ８４の処理は、Ｓ８２の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ１１２は、Ｓ８４の処理が完了する場合、図５に示す一連の処理を一旦終了する。
図４に戻り、ＣＰＵ１１２は、Ｓ４４の処理が完了すると、行動価値関数Ｑが収束したか否かを判定する（Ｓ４６）。ここでは、Ｓ４４の処理による行動価値関数Ｑの更新量が所定値以下となる連続回数が所定回数に達する場合に収束したと判定すればよい。ＣＰＵ１１２は、収束していないと判定する場合（Ｓ４６：ＮＯ）や、Ｓ４２の処理において否定判定する場合には、Ｓ３２の処理に戻る。これに対し、ＣＰＵ１１２は、収束したと判定する場合（Ｓ４６：ＹＥＳ）、Ｓ３０の処理によって駆動モードと発電モードとの双方が設定されたか否かを判定する（Ｓ４８）。

ＣＰＵ１１２は、いずれか一方については未だＳ３０の処理によって設定されていないと判定する場合（Ｓ４８：ＮＯ）、Ｓ３０の処理に戻って、特定変数ＶＵを未だ設定されていない値に設定する。ＣＰＵ１１２は、Ｓ４８の処理において肯定判定する場合、図４に示す一連の処理を一旦終了する。

図６に、生成装置１１０が実行する処理のうち、特に図４の処理によって学習された行動価値関数Ｑに基づき、マップデータＤＭを生成する処理の手順を示す。図６に示す処理は、ＲＯＭ１１４に記憶された学習プログラム１１４ａを、ＣＰＵ１１２が実行することにより実現される。

図６に示す一連の処理において、ＣＰＵ１１２は、まず、特定変数ＶＵの値を設定する（Ｓ９０）。そして、ＣＰＵ１１２は、駆動用マップデータＤＭ１および発電用マップデータＤＭ２のうちのＳ９０の処理によって設定した特定変数ＶＵの値に対応した方のデータの入力変数の値となる複数の状態ｓの中の１つを選択する（Ｓ９２）。次に、ＣＰＵ１１２は、駆動用規定データＤＲ１および発電用規定データＤＲ２のうちの特定変数ＶＵの値に対応するデータによって規定されて且つ状態ｓに対応する行動価値関数Ｑ（ｓ，Ａ）のうち、行動価値関数Ｑの値を最大とする行動ａを選択する（Ｓ９４）。すなわち、ここでは、グリーディ方策によって行動ａを選択する。次に、ＣＰＵ１１２は、状態ｓと行動ａとの組を記憶装置１１６に記憶させる（Ｓ９６）。

次にＣＰＵ１１２は、駆動用マップデータＤＭ１および発電用マップデータＤＭ２のうちの特定変数ＶＵの値に対応した方のデータの入力変数の値とするもの全てがＳ９２の処理によって選択されたか否かを判定する（Ｓ９８）。そして、ＣＰＵ１１２は、選択されていないものがあると判定する場合（Ｓ９８：ＮＯ）、Ｓ９２の処理に戻る。これに対し、ＣＰＵ１１２は、全てが選択されたと判定する場合（Ｓ９８：ＹＥＳ）、Ｓ９０の処理によって特定変数ＶＵの値としてとり得る全ての値が設定されたか否かを判定する（Ｓ１００）。ＣＰＵ１１２は、未だ設定されていない値があると判定する場合（Ｓ１００：ＮＯ）、Ｓ９０の処理に戻ってその値を設定する。

これに対し、ＣＰＵ１１２は、全ての値を設定済みと判定する場合（Ｓ１００：ＹＥＳ）、駆動用マップデータＤＭ１および発電用マップデータＤＭ２を生成する（Ｓ１０２）。ここでは、マップデータＤＭの入力変数の値が状態ｓであるものに対応する出力変数の値を、対応する行動ａとする。

なお、ＣＰＵ１１２は、Ｓ１０２の処理が完了する場合、図６に示す一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。

図３に示すシステムにおいて、ＣＰＵ１１２は、強化学習によって、行動価値関数Ｑを学習する。そして、行動価値関数Ｑの値が収束する場合、エネルギ利用効率に関して要求された基準とトルクのレスポンスに関して要求された基準と車室内の状態に関する基準とを満たすうえで適切な行動が学習されたとする。そして、ＣＰＵ１１２は、マップデータＤＭの入力変数となる状態のそれぞれについて、行動価値関数Ｑを最大化する行動を選択し、状態と行動との組を記憶装置１１６に記憶する。次に、ＣＰＵ１１２は、記憶装置１１６に記憶された状態と行動との組に基づき、マップデータＤＭを生成する。これにより、駆動モードと発電モードとの双方について、状態を特定する変数に応じて適切な行動を熟練者による工数を過度に大きくすることなく設定することができる。

特に、本実施形態では、駆動モードであるか発電モードであるかに応じて、報酬の与え方を変えて強化学習を実行した。詳しくは、発電モードの方が駆動モードと比較してトルクのレスポンスに対する基準を緩和する一方、車室内の状態に関する基準を厳しくした。これにより、発電用規定データＤＲ２の学習の際には、トルクのレスポンスを比較的低くしても上記条件（ア）を満たしてＳ６８の処理による報酬をうることができることから、レスポンスを低くするなどして極力、振動や騒音を小さくすることがトータルの報酬を大きくする上で有利となる。したがって、発電用マップデータＤＭ２を、車室内の騒音や振動を抑制する制御が可能なデータとすることができる。

また、発電モードにおいては駆動モードと比較して、エネルギ利用効率が高い場合に与えられる報酬を大きくした。これにより、発電モードにおいては駆動モードと比較して、エネルギ利用効率を高めることが、トータルの報酬を大きくする上で有利となる。したがって、発電用マップデータＤＭ２を、エネルギ利用効率が高くなる制御が可能なデータとすることができる。

一方、駆動用規定データＤＲ１の学習の際には、効率ηｅを高くした割にはＳ６４の処理で得られる報酬が小さくなることから、トータルの報酬を大きくする上では、トルクのレスポンスを高めて上記条件（ア）を満たしてＳ６８の処理による報酬をうることが有利となる。そのため、駆動用マップデータＤＭ１を、ユーザのアクセル操作に対する応答性が良好な制御を可能とするデータとすることができる。

以上説明した本実施形態によれば、さらに以下に記載する効果が得られる。
（１）制御装置７０が備える記憶装置７６に、行動価値関数Ｑ等ではなく、マップデータＤＭを記憶した。これにより、ＣＰＵ７２は、マップデータＤＭを用いたマップ演算に基づき、スロットル開口度指令値ＴＡ＊等を設定することから、行動価値関数Ｑの値が最大となる独立変数の値を選択する処理を実行する場合と比較して、演算負荷を軽減できる。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図７に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置を示す。なお、図７において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図７に示すように、本実施形態では、ＲＯＭ７４に、制御プログラム７４ａに加えて、学習プログラム７４ｂが記憶されている。また、記憶装置７６に、マップデータＤＭが記憶されておらず、代わりに、関係規定データＤＲが記憶され、また、トルク出力写像データＤＴが記憶されている。ここで、関係規定データＤＲは、図４の処理によって学習された学習済みのデータであり、駆動用規定データＤＲ１と、発電用規定データＤＲ２とを含む。また、トルク出力写像データＤＴによって規定されるトルク出力写像は、回転速度ＮＥ、充填効率η、および点火時期を入力とし、内燃機関１０のトルクを出力するニューラルネットワーク等の学習済みモデルに関するデータである。なお、上記トルク出力写像データＤＴは、たとえば図４の処理を実行する際、Ｓ５６の処理によって取得されるトルクＴｒｑを教師データとして学習されたものとすればよい。なお、充填効率ηは、ＣＰＵ７２により、回転速度ＮＥおよび吸入空気量Ｇａに基づき算出すればよい。

図８に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図８に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂを、ＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、図８において、図４に示した処理に対応する処理については、便宜上同一のステップ番号を付与する。

図８に示す一連の処理において、ＣＰＵ７２は、まず図２のＳ１０，Ｓ１２の処理を実行し、駆動モードであると判定する場合（Ｓ１２：ＹＥＳ）、状態ｓとして、アクセル操作量ＰＡの時系列データと、現在の変速比ＧＲと、車速Ｖと、を取得する（Ｓ３４ａ）。これに対し、ＣＰＵ７２は、発電モードであると判定する場合（Ｓ１２：ＮＯ）、状態ｓとして、出力指令値Ｐ＊および回転速度ＮＥを取得する（Ｓ５０ａ）。ＣＰＵ１１２は、Ｓ３４ａの処理が完了する場合、図４のＳ３６～Ｓ４４の処理を実行する。ここで、Ｓ４０の処理において、ＣＰＵ７２は、トルク出力写像データＤＴによって規定されるトルク出力写像に基づき内燃機関１０のトルクを算出し、電流ｉｕ，ｉｖ，ｉｗに基づきモータジェネレータ４２のトルクを算出し、それらの和をトルクＴｒｑとする。

これに対し、ＣＰＵ７２は、Ｓ５０ａの処理を完了する場合、Ｓ５２～５６，Ｓ４２，Ｓ４４の処理を実行する。なお、ＣＰＵ７２は、Ｓ４２の処理において否定判定する場合や、Ｓ４４の処理を完了する場合には、図８に示す一連の処理を一旦終了する。ちなみに、図８に示す処理のうちＳ４４の処理以外の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ４４の処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。

このように、本実施形態によれば、制御装置７０に関係規定データＤＲおよび学習プログラム７４ｂを実装することにより、第１の実施形態の場合と比較して、学習頻度を向上させることができる。

＜第３の実施形態＞
以下、第３の実施形態について、第２の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、関係規定データＤＲの更新を、車両ＶＣ１の外で実行する。
図９に、本実施形態において、強化学習を実行する制御システムの構成を示す。なお、図９において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図９に示す車両ＶＣ１内の制御装置７０におけるＲＯＭ７４は、制御プログラム７４ａを記憶しているものの、学習プログラム７４ｂを記憶していない。また、制御装置７０は、通信機７７を備えている。通信機７７は車両ＶＣ１の外部のネットワーク１２０を介してデータ解析センター１３０と通信するための機器である。

データ解析センター１３０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。データ解析センター１３０は、ＣＰＵ１３２、ＲＯＭ１３４、電気的に書き換え可能な不揮発性メモリ（記憶装置１３６）、周辺回路１３８および通信機１３７を備えており、それらがローカルネットワーク１３９によって通信可能とされるものである。ＲＯＭ１３４には、学習プログラム１３４ａが記憶されており、記憶装置１３６には、関係規定データＤＲが記憶されている。

図１０に、本実施形態にかかる強化学習の処理手順を示す。図１０（ａ）に示す処理は、図９に示すＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。また、図１０（ｂ）に示す処理は、ＲＯＭ１３４に記憶されている学習プログラム１３４ａをＣＰＵ１３２が実行することにより実現される。なお、図１０において図８に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、強化学習の時系列に沿って、図１０に示す処理を説明する。

図１０（ａ）に示す一連の処理において、ＣＰＵ７２は、Ｓ１０，Ｓ１２，Ｓ３４ａ，Ｓ３６～Ｓ４０の処理、または、Ｓ１０，Ｓ１２，Ｓ５０ａ，Ｓ５２～Ｓ５６の処理を実行し、所定期間が経過したと判定する場合（Ｓ４２：ＹＥＳ）、通信機７７を操作することによって、関係規定データＤＲの更新処理に必要なデータを送信する（Ｓ１１０）。ここで、送信対象とされるデータは、所定期間内の特定変数ＶＵの値や、回転速度ＮＥ、トルク指令値Ｔｒｑ＊、およびトルクＴｒｑの時系列データ、状態集合Ｓｊおよび行動集合Ａｊを含む。

これに対し、図１０（ｂ）に示すように、ＣＰＵ１３２は、送信されたデータを受信し（Ｓ１２０）、受信したデータに基づき関係規定データＤＲを更新する（Ｓ４４）。そしてＣＰＵ１３２は、関係規定データＤＲの更新回数が所定回数以上であるか否かを判定し（Ｓ１２２）、所定回数以上であると判定する場合（Ｓ１２２：ＹＥＳ）、通信機１３７を操作して、Ｓ１２０の処理によって受信したデータを送信した車両ＶＣ１に関係規定データＤＲを送信する（Ｓ１２４）。なお、ＣＰＵ１３２は、Ｓ１２４の処理を完了する場合や、Ｓ１２２の処理において否定判定する場合には、図１０（ｂ）に示す一連の処理を一旦終了する。

これに対し、図１０（ａ）に示すように、ＣＰＵ７２は、更新データがあるか否かを判定し（Ｓ１１２）、あると判定する場合（Ｓ１１２：ＹＥＳ）、更新された関係規定データＤＲを受信する（Ｓ１１４）。そしてＣＰＵは、Ｓ３６，Ｓ５２の処理において利用する関係規定データＤＲを、受信した関係規定データＤＲに書き換える（Ｓ１１６）。なお、ＣＰＵ７２は、Ｓ１１６の処理を完了する場合や、Ｓ４２，Ｓ１１２の処理において否定判定する場合には、図１０（ａ）に示す一連の処理を一旦終了する。

このように、本実施形態によれば、関係規定データＤＲの更新処理を車両ＶＣ１の外部で行うことから、制御装置７０の演算負荷を軽減できる。さらに、たとえばＳ１２０の処理において、複数の車両ＶＣ１，ＶＣ２，…からのデータを受信してＳ４４の処理を行うなら、学習に用いるデータ数を容易に大きくすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置と記憶装置とは、図７においては、それぞれ、ＣＰＵ７２およびＲＯＭ７４と記憶装置７６とに対応し、図３においては、それぞれ、ＣＰＵ１１２およびＲＯＭ１１４と記憶装置１１６とに対応し、図９においては、それぞれ、ＣＰＵ７２，１３２およびＲＯＭ７４，１３４と記憶装置７６，１３６とに対応する。取得処理は、図４のＳ３０，Ｓ３４，Ｓ４０，Ｓ５０，Ｓ５６の処理や、図８および図１０のＳ１０，Ｓ３４ａ，Ｓ４０，Ｓ５０ａ，Ｓ５６の処理に対応する。操作処理は、Ｓ３８，Ｓ５４の処理に対応し、報酬算出処理は、Ｓ６２～Ｓ７６の処理に対応し、更新処理は、Ｓ７８～Ｓ８４の処理に対応する。更新写像は、学習プログラム７４ｂのうちＳ７８～Ｓ８４の処理を実行する指令によって規定された写像に対応する。変更処理は、Ｓ６４の処理における係数Ｋ、Ｓ６６の処理における条件（ア）、Ｓ６８，Ｓ７０の処理における係数Ｋ１、Ｓ７２の処理における条件（イ）、（ウ）、Ｓ７４，Ｓ７６の処理における係数Ｋ２を、特定変数ＶＵに応じて可変とする処理に対応する。［２］Ｓ６４，Ｓ６８，Ｓ７０，Ｓ７４，Ｓ７６の処理において、発電モードの場合に駆動モードと比較して、係数Ｋ，Ｋ２が大きい値とされ、係数Ｋ１が小さい値とされることに対応する。［３］制御用写像データは、マップデータＤＭに対応する。［４］実行装置と記憶装置とは、それぞれ、図７におけるＣＰＵ７２およびＲＯＭ７４と記憶装置７６とに対応する。［５～７］第１実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、第２実行装置は、ＣＰＵ１３２およびＲＯＭ１３４に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「変更処理について」
・Ｓ６６の処理のようにレスポンスに関する基準を変更する処理と、Ｓ６８，Ｓ７０の処理のようにレスポンスに関する基準を満たすか否かに応じた報酬を変更する処理との双方を実行するものに限らず、それらのうちのいずれか一方のみを実行してもよい。

・たとえば、発電モードにおいて条件（ア）を満たし得ない条件に変更するとともにＳ７０の処理において報酬ｒからゼロを減算する処理とし、駆動モードにおいては、Ｓ６４の処理における基準効率ηｅｒをとりえない高効率として且つ、積算値とゼロとのうちの大きい方を報酬ｒに代入してもよい。これは、発電モードにおいては、レスポンスが基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を実行せず、駆動モードにおいてはエネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を実行しないことと等価である。そのため、発電モードにおいては、レスポンスが基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を実行せず、駆動モードにおいてはエネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を実行しない処理としてもよい。これについても、レスポンスが基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、エネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理との少なくとも１つの処理を変更する処理とみなせる。

・たとえば係数Ｋ１，Ｋ２については固定値としてもよい。その場合でも、係数Ｋを、発電モードの場合に駆動モードの場合よりも大きくするなら、発電モードにおいてはエネルギ利用効率を高めることがトータルの報酬を高めるうえでより有利となる。

・たとえば、係数Ｋを固定値としてもよい。その場合であっても、係数Ｋ１を、発電モードにおいて駆動モードよりも小さくなら、発電モードにおいてはエネルギ利用効率を高めることがトータルの報酬を高めるうえでより有利となる。

・下記「報酬算出処理について」の欄に記載したように、スロットル開口度指令値ＴＡ＊の変化速度の絶対値が所定値以下であるか否かに応じて報酬を与える処理を、発電モードにおいて実行する場合、駆動モードにおいては実行しないこととしてもよい。また、駆動モードにおいては、所定値をスロットル開口度指令値ＴＡ＊の変化速度の絶対値として想定される最大値よりも大きい値に設定しつつ、上記処理を実行してもよい。この場合、スロットル開口度指令値ＴＡ＊の変化速度の絶対値が所定値以下である場合に所定値よりも大きい場合よりも大きい報酬を与える処理を駆動モードにおいて実行しないことと同等となる。したがって、同処理を駆動モードにおいて実行しないことは、所定値を発電モードに対して駆動モードの場合に変更する処理と見なせる。

「エネルギ利用効率について」
・上記実施形態では、エネルギ利用効率を、動作点のみに基づき定量化したが、これに限らない。たとえば、下記「行動変数について」の欄に記載したように、行動変数に点火時期を含める場合、採用された点火時期がＭＢＴからずれる場合、そのずれ量に応じてエネルギ利用効率を減少補正すればよい。また、行動変数に空燃比制御に関する変数を含める場合、採用される空燃比が所定の空燃比からずれる場合、そのずれ量に応じてエネルギ利用効率を補正すればよい。

・上記実施形態では、モータジェネレータ４２が駆動されているときの効率ηｅを、モータジェネレータ４２の効率と内燃機関１０の効率との単純平均としたが、これに限らない。たとえば、モータジェネレータ４２の出力と内燃機関１０の出力との比率に応じた重み係数を用いて、モータジェネレータ４２の効率と内燃機関１０の効率との加重移動平均処理値を算出してもよい。

「テーブル形式のデータの次元削減について」
・テーブル形式のデータの次元削減手法としては、上記実施形態において例示したものに限らない。たとえばアクセル操作量ＰＡが最大値となることはまれであることから、駆動用規定データＤＲ１におけるアクセル操作量ＰＡが規定量以上となる状態については行動価値関数Ｑを定義せず、アクセル操作量ＰＡが規定量以上となる場合のスロットル開口度指令値ＴＡ＊等は、別途適合してもよい。またたとえば、行動のとりうる値からスロットル開口度指令値ＴＡ＊が規定値以上となるものを除くなどして、次元削減をしてもよい。

「関係規定データについて」
・上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

・たとえば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。

「操作処理について」
・たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを特定すればよい。その場合、たとえば、主として特定された行動ａを操作に採用しつつも、所定の確率でそれ以外の行動を選択すればよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを選択すればよい。

「更新写像について」
・Ｓ７８～Ｓ８４の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型ＴＤ法を用いたり、またたとえばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法等を用いて更新写像を構成すればよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

「行動変数について」
・上記実施形態では、駆動モードにおける行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。たとえば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間および２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

・上記実施形態では、内燃機関の操作部の操作に関する行動変数として、スロットルバルブの開口度に関する変数を例示したが、これに限らない。たとえば、スロットルバルブの開口度に関する変数に加えて、点火時期に関する変数や空燃比制御に関する変数を用いてもよい。

・「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用いればよい。またこれに加えて、たとえば、噴射時期に関する変数や、１燃焼サイクルにおける噴射回数に関する変数、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を用いてもよい。

・下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象となる電子機器に機関駆動式の空調装置のコンプレッサや、電動式の空調装置を含める場合、コンプレッサの負荷トルクや、電動式の空調装置の消費電力を含めてもよい。

「状態について」
・上記実施形態では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、たとえば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量等であってもよい。

・内燃機関１０に関する状態変数としては、上記実施形態において例示したものに限らない。たとえば触媒３４の温度であってもよい。これにより、排気通路３２から外部に排出される排気の特性をより良好なものとすることができる行動を強化学習によって学習することも可能となる。

・たとえばバッテリ４６の充放電電流量や、バッテリ４６の充電率、バッテリ４６に対する要求出力を状態変数に含めてもよい。これにより、エネルギ利用効率を高めるうえでより適切な行動を強化学習によって学習できる。

・またたとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動に含める場合、状態に、車室内の温度を含めればよい。
「報酬算出処理について」
・エネルギ利用効率が高い場合に低い場合よりも大きい報酬を与える処理としては、基準となる効率と実際の動作点における効率との比と「１」との差をとる処理に限らず、たとえば、基準となる効率と実際の動作点における効率との差をとる処理であってもよい。

・たとえば条件（ア）を満たす場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が小さい場合に大きい場合よりもより大きい報酬を与える処理としてもよい。またたとえば、条件（ア）を満たさない場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が大きい場合に小さい場合よりもより小さい報酬を与える処理としてもよい。

・レスポンスに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理としては、上記実施形態において例示した処理に限らない。たとえば、変化量ΔＴｒｑ＊の絶対値が所定値以上である場合に限って、条件（ア）を満たす場合に満たさない場合よりも大きい報酬を与える処理としてもよい。その場合、変化量ΔＴｒｑ＊の絶対値が所定値未満の場合には、トルク指令値Ｔｒｑ＊への追従性を満たす場合に満たさない場合よりも大きい報酬を与える処理を別途設けてもよい。その場合、別途設けた処理における追従性の基準や報酬を、駆動モードと発電モードとで同一としてもよい。

・駆動モードにおいて、レスポンスに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理としては、上記条件（ア）を満たすか否かに応じて報酬を与える処理に限らない。たとえば、変化量ΔＴｒｑ＊の絶対値が所定値以上である場合に限って、車両の前後加速度がアクセル操作量ＰＡ等に基づき設定される範囲内にある旨の条件を満たすか否かに応じて報酬を与える処理であってもよい。

・車室内の状態が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理としては、上記条件（イ）および条件（ウ）の論理積が真であるか否かに応じて報酬を与える処理に限らない。たとえば、条件（イ）を満たすか否かに応じて報酬を与える処理と、条件（ウ）を満たすか否かに応じて報酬を与える処理との２つの処理としてもよく、また２つの処理に関しては、それらのいずれか１つの処理のみを実行してもよい。

・内燃機関１０の稼働に起因した振動強度が大きい場合に小さい場合よりも大きい報酬を与える処理としては、条件（ウ）を満たす場合に満たさない場合よりも大きい報酬を与える処理に限らない。たとえば、クランク軸２８の微小な回転角度領域の回転に関する速度である瞬時回転速度について、その変動量が小さい場合に大きい場合よりも大きい報酬を与える処理であってもよい。ここで、変動量が閾値よりも小さい場合に大きい場合よりも大きい報酬を与える処理とする場合、閾値を、発電モードの方が駆動モードよりも小さい値とすればよい。ただし、閾値を、発電モードの方が駆動モードよりも小さい値とすることは必須ではない。たとえば、駆動モードにおいてはクランク軸２８が駆動系に連結されていることから車両の振動に繋がりやすいのに対して、発電モードにおいてクランク軸２８が駆動系に連結されない場合には車両の振動に繋がりにくいことから、閾値を、発電モードの方が駆動モードよりも大きい値としてもよい。

・レスポンスに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理とエネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と車室内の状態が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理とによって報酬算出処理を構成するものに限らない。たとえば、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を含めてもよい。その場合、発電モードにおいてはアクセルレスポンスに関する要求要素を考慮しなくてよいことから、排気特性に関する基準をより厳しくしてもよい。

・発電モードにおいて、スロットル開口度指令値ＴＡ＊の変化速度の絶対値が所定値以下である場合に所定値よりも大きい場合よりも大きい報酬を与える処理を含めてもよい。これにより、内燃機関１０の運転状態が急激に変化することを抑制できることから、空燃比を高精度に制御することが容易となる。そのため、発電モードにおける排気特性がより厳しい基準を満たすことも可能となる。換言すれば、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、発電モードにおいて駆動モードよりも排気特性の基準を厳しくする処理とを実行することなく、それらを実行したのと同等の効果をうることも可能となる。

・内燃機関１０のトルクの変化速度の絶対値が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を実行してもよい。ここで、発電モードにおいて駆動モードと比較し所定範囲を変化速度の絶対値が小さい値となるようにするなら、発電モードにおいて、空燃比を高精度に制御することが容易となる。もっともこれに限らず、内燃機関１０のトルクを急激に変化させても車両の加速度の絶対値が過度に大きくならないなら、上記所定範囲を、発電モードにおいて駆動モードと比較して変化速度の絶対値が大きい値となるようにしてもよい。

「車両用制御データの生成方法について」
・図４のＳ３４，Ｓ５０の処理では、行動価値関数Ｑに基づき行動を決定したが、これに限らず、とりうるすべての行動を等確率で選択してもよい。

「制御用写像データについて」
・車両の状態と期待収益を最大化する行動変数の値とを１対１に対応付けることによって車両の状態を入力とし期待収益を最大化する行動変数の値を出力する制御用写像データとしては、マップデータに限らない。たとえば、関数近似器であってもよい。これは、たとえば、上記「更新写像について」の欄に記載したように、方策勾配法等を用いる場合において、方策πを行動変数の値をとりうる確率を示すガウス分布にて表現し、その平均値を関数近似器にて表現しておき、平均値を表現する関数近似器のパラメータを更新することとし、学習後の平均値を制御用写像データとすることによって実現できる。すなわち、ここでは、関数近似器が出力する平均値を期待収益を最大化する行動変数の値とみなす。

「電子機器について」
・行動変数に応じた操作の対象となる内燃機関の操作部としては、スロットルバルブ１４に限らない。たとえば、点火装置２６や燃料噴射弁１６であってもよい。

・行動変数に応じた操作の対象となる電子機器のうち車両の推力生成装置に関する電子機器としては、内燃機関の操作部に限らず、たとえばインバータ４４等の回転電機に接続された電力変換回路を含めてもよい。

・行動変数に応じた操作の対象となる電子機器としては、車載駆動系の電子機器に限らず、たとえば機関駆動式の空調装置のコンプレッサや、電動式の空調装置を含めてもよい。

・駆動モードと発電モードとの双方において、行動変数に応じた操作の対象に、内燃機関の操作部を含めることは必須ではない。たとえば、上記実施形態において、駆動モードの場合の行動変数からスロットル開口度指令値ＴＡ＊を削除してもよい。

「車両用制御システムについて」
・図１０に示した例では、Ｓ４４の処理の全てをデータ解析センター１３０にて実行したが、これに限らない。たとえば、データ解析センター１３０においては、Ｓ７８～Ｓ８４の処理を実行するものの、報酬の算出処理であるＳ６２～Ｓ７６の処理については実行せず、Ｓ１１０の処理において、報酬の算出結果を送信することとしてもよい。

・図１０に示した例では、方策πに基づく行動を決定する処理であるＳ３６，Ｓ５２の処理を、車両側で実行したが、これに限らない。たとえば、車両ＶＣ１からＳ３４ａ，Ｓ５０ａの処理によって取得したデータを送信することとし、データ解析センター１３０にて送信されてデータを用いて行動ａを決定し、決定した行動を車両ＶＣ１に送信してもよい。

・車両用制御システムとしては、制御装置７０およびデータ解析センター１３０によって構成されるものに限らない。たとえば、データ解析センター１３０に代えて、ユーザの携帯端末を用いてもよい。また、制御装置７０およびデータ解析センター１３０と携帯端末とによって車両用制御システムを構成してもよい。これは、たとえばＳ３６，Ｓ５２の処理を携帯端末によって実行することにより実現できる。

「モードについて」
・上記実施形態では、内燃機関の稼働状態における内燃機関のトルクが車両の推力の生成に利用されるモードとして、駆動モードを例示したが、これに限らない。たとえば、内燃機関１０のトルクのみで車両の推力を生成するモードと、内燃機関１０のトルクとモータジェネレータ４２のトルクとの協働で車両の推力を生成するモードとを各別のモードとしてもよい。

・たとえば下記「ハイブリッド車両について」の欄に記載したシリーズ・パラレルハイブリッド車両なら、力行制御されているモータジェネレータの出力が車両の推力に寄与する出力以上である場合に、内燃機関の稼働状態における内燃機関のトルクが車両の推力の生成に利用されていないモードと定義すればよい。ここでは、たとえば、遊星歯車機構のキャリアに内燃機関のクランク軸を、サンギアに第１モータジェネレータを、リングギアに第２モータジェネレータおよび駆動輪を、それぞれ機械的に連結する場合、内燃機関の稼働状態において、第１モータジェネレータを発電制御し、第２モータジェネレータを力行制御すればよい。その場合、第２モータジェネレータの出力が車両の推力の生成に寄与する出力以上の場合、内燃機関の稼働状態における内燃機関のトルクが車両の推力の生成に利用されていないモードとすればよい。一方、第２モータジェネレータの出力が車両の推力の生成に寄与する出力を下回る場合、内燃機関の稼働状態における内燃機関のトルクが車両の推力の生成に利用されているモードとなる。後者のモードの場合には、アクセルレスポンスに内燃機関の駆動状態が寄与することから、駆動輪６６に付与されるトルクの指令値への追従性が基準を満たす場合の報酬を大きくすることなどが有効である。これに対し、前者の場合、アクセルレスポンスは、第２モータジェネレータのみによって定めることができることから、エネルギ利用効率が基準を満たす場合の報酬をより大きくすることなどが有効である。

「実行装置について」
・実行装置としては、ＣＰＵ７２（１１２，１３２）とＲＯＭ７４（１１４，１３４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「記憶装置について」
・上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習プログラム７４ｂ，１１４ａや制御プログラム７４ａが記憶される記憶装置（ＲＯＭ７４，１１４，１３４）とを別の記憶装置としたが、これに限らない。

「内燃機関について」
・内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。

・内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。
「ハイブリッド車両について」
・ハイブリッド車両としては、パラレルハイブリッド車に限らず、たとえばシリーズ・パラレルハイブリッド車であってもよい。

１０…内燃機関
４０…クラッチ
４２…モータジェネレータ
４４…インバータ
４８…クラッチ
５０…トルクコンバータ
６０…変速装置
７０…制御装置
１１０…生成装置
１３０…データ解析センター

Claims (6)

1. 回転電機および内燃機関を備えた車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶装置に記憶された状態で、
   センサの検出値に基づく前記車両の状態、および前記内燃機関の稼働状態における前記内燃機関のトルクが前記車両の推力の生成に利用されているか否かを特定する変数である特定変数を取得する取得処理と、
   前記電子機器を操作する操作処理と、
   前記取得処理によって取得された前記特定変数の値に基づき、前記車両のエネルギ利用効率が高い場合に低い場合よりも大きい報酬を与える報酬算出処理と、
   前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
   を実行装置に実行させ、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
   前記報酬算出処理は、前記内燃機関の稼働状態における前記内燃機関のトルクが前記車両の推力の生成に利用されていない場合に利用されている場合と比較して、前記エネルギ利用効率を高めることがより大きい報酬をうるうえで有利となるように前記報酬を変更する変更処理を含み、
   前記関係規定データを定める前記車両の状態は、前記内燃機関の稼働状態における前記内燃機関のトルクが前記車両の推力の生成に利用されている場合には、アクセル操作量の時系列データと現在の変速比と車速とであり、前記内燃機関の稼働状態における前記内燃機関のトルクが前記車両の推力の生成に利用されていない場合には、前記内燃機関に対する出力指令値および前記内燃機関のクランク軸の回転速度である車両用制御データの生成方法。
2. 前記更新処理によって更新された前記関係規定データに基づき、前記車両の状態と前記期待収益を最大化する前記行動変数の値とを対応付けることによって前記車両の状態を入力とし前記期待収益を最大化する前記行動変数の値を出力する制御用写像データを生成する処理を前記実行装置に実行させる請求項１記載の車両用制御データの生成方法。
3. 請求項１記載の車両用制御データの生成方法における前記記憶装置および前記実行装置を備え、
   前記操作処理は、前記関係規定データに基づき前記車両の状態に応じた行動変数の値に従って前記電子機器を操作する処理を含む車両用制御装置。
4. 請求項３記載の車両用制御装置における前記実行装置および前記記憶装置を備え、
   前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、
   前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、
   前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システム。
5. 請求項４記載の車両用制御システムにおける第１実行装置を備える車両用制御装置。
6. 請求項４記載の車両用制御システムにおける第２実行装置を備える車両用学習装置。