JP7205456B2 - 車両用制御装置、車両用制御システム、および車両用学習装置 - Google Patents

Description

本発明は、車両用制御装置、車両用制御システム、および車両用学習装置に関する。

たとえば下記特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。

特開２０１６－６３２７号公報

ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来は、車両の状態に応じた車両内の電子機器の操作量等の適合には、熟練者が多くの工数をかけていた。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．実行装置および記憶装置を備え、前記記憶装置には、車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、前記実行装置は、センサの検出値に基づく前記車両の状態を取得する取得処理と、前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作する操作処理と、前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行し、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記関係規定データが指定する前記行動変数の値が第１の値であるとして該第１の値に従って前記操作処理により前記電子機器を操作する処理が、第１の状況において実行可能であって且つ第２の状況においては実行不可とされている車両用制御装置である。

上記構成では、電子機器の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との関係を車両の走行において適切な関係に設定することができる。したがって、車両の状態と行動変数との関係を車両の走行において適切な関係に設定する際、熟練者に要求される工数を削減できる。

ところで、強化学習を行う場合、行動変数の値が車両の制御にとって適切な値から大きくずれることが懸念される。そこで上記構成では、第１の状況において採用可能な行動変数の値である第１の値が、第２の状況においては採用されないように設定するとともに、第２の状況を第１の値を用いるのが不適切な状況とすることにより、不適切な操作がなされることを抑制できる。

２．前記関係規定データは、前記車両の状態が前記第１の状況に対応する第１の状態のときには、前記行動変数の値として前記第１の値が定義されている一方、前記車両の状態が前記第２の状況に対応する第２の状態のときには、前記行動変数の値として前記第１の値が定義されていないデータである上記１記載の車両用制御装置である。

上記構成では、関係規定データ自体を、第２の状況において第１の値を許容しないデータとすることにより、関係規定データが指定する行動変数の値を用いた操作が不適切な操作となることを抑制できる。

３．前記操作処理は、前記関係規定データが指定する前記行動変数の値が第１の値である場合に、前記第１の状況において前記第１の値に従って前記電子機器を操作する処理を許容して且つ、前記第２の状況において前記第１の値に従って前記電子機器を操作する処理を許容しない制限処理を含む上記１記載の車両用制御装置である。

上記構成では、操作処理が制限処理を含むことから、関係規定データが指定する行動変数の値が操作にとって不適切な値であったとしても、その値に応じた操作がなされることを抑制できる。

４．前記第１の状況は、前回の前記行動変数の値と前記第１の値との差の絶対値が所定値以下の状況であり、前記第２の状況は、前回の前記行動変数の値と前記第１の値との差の絶対値が前記所定値を超える状況である上記３記載の車両用制御装置である。

上記構成では、前回の値と第１の値との差の絶対値が所定値を超える場合、第１の値による操作を許容しないことから、行動変数の値が所定値以上変化することを抑制できる。
５．前記制限処理は、前記行動変数の前回の値を記憶する記憶処理と、前記行動変数の今回の値と前記行動変数の前回の値との差の絶対値が所定値以下となるように、前記今回の値を制限する処理と、を含む上記４記載の車両用制御装置である。

上記構成では、記憶された前回の値と今回の値との差の絶対値が所定値以下となるようにすることにより、操作処理によって実際の操作に採用される行動変数の値が急激に変化することを抑制できる。

６．前記関係規定データは、前記車両の状態を入力とし、前記行動変数の値の選択確率を出力とする関数近似器を規定するデータであり、前記更新写像は、前記関数近似器を規定するパラメータの更新量を出力する写像を含み、前記制限処理は、前記関数近似器の出力する選択確率が所定値未満となる前記行動変数の値に従った前記電子機器の操作を禁止する処理を含み、前記第１の状況は、前記第１の値の選択確率が前記所定値以上となる状況であり、前記第２の状況は、前記第１の値の選択確率が前記所定値未満となる状況である上記３記載の車両用制御装置である。

行動変数の値の選択確率を出力する関数近似器の場合、低確率の値については、操作処理に採用されると不適切な値である懸念がある。そこで上記構成では、選択確率が所定値未満となる行動変数の値を許容しないことにより、操作処理によって不適切な操作がなされることを抑制できる。

７．前記制限処理は、前記関係規定データとともに前記行動変数の値を算出するための前記状態を示す変数の値の前回の値を記憶する記憶処理と、前記状態を示す変数の値の前回の値と今回の値との差の絶対値が規定値を超える場合、前記状態を示す変数の値を、前記前回の値との差の絶対値が前記規定値以下となるように補正する補正処理と、を含む上記４記載の車両用制御装置である。

状態を示す変数の値がノイズ等の影響により急激に変化すると、それに応じて関係規定データによって算出される行動変数の値も急激に変化する可能性がある。そこで上記構成では、状態を示す変数の値の前回の値と今回の値との差の絶対値が規定値以下となるように、関係規定データとともに行動変数の値を定める状態を示す変数の値を補正することにより、関係規定データによって算出される行動変数の値が急激に変化することを抑制できる。

８．上記１～７のいずれか１つに記載の前記実行装置および前記記憶装置を備え、前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、前記第２実行装置は、前記更新処理を少なくとも実行し、前記第１実行装置は、前記取得処理および前記操作処理を少なくとも実行する車両用制御システムである。

上記構成では、更新処理を第２実行装置によって実行することにより、更新処理を第１実行装置が実行する場合と比較して、第１実行装置の演算負荷を軽減できる。
なお、第２実行装置が車載装置とは別の装置であることは、第２実行装置が車載装置ではないことを意味する。

９．上記８記載の前記第１実行装置を備える車両用制御装置である。
１０．上記８記載の前記第２実行装置を備える車両用学習装置である。

第１の実施形態にかかる制御装置および駆動系の構成を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる関係規定データを例示する図。 同実施形態にかかる学習処理の詳細を示す流れ図。 第２の実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細を示す流れ図。 第３の実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細を示す流れ図。 第４の実施形態にかかる車両用制御システムの構成を示す図。 （ａ）および（ｂ）は、同実施形態にかかる制御システムが実行する処理の手順を示す流れ図。

＜第１の実施形態＞
以下、車両用制御装置の第１の実施形態について、図面を参照しつつ説明する。
図１に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置の構成を示す。

図１に示すように、内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４および燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０およびピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８の回転動力は、タイミングチェーン３６を介して吸気側カム軸４０および排気側カム軸４２に伝達される。詳しくは、吸気側カム軸４０には、吸気バルブタイミング可変装置４４を介してクランク軸２８の回転動力が伝達される。

クランク軸２８には、ロックアップクラッチ５２を備えたトルクコンバータ５０を介して、変速装置６０の入力軸６２が機械的に連結可能とされている。変速装置６０は、入力軸６２の回転速度と出力軸６４の回転速度との比である変速比を可変とする装置である。出力軸６４には、駆動輪６６が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６、点火装置２６および吸気バルブタイミング可変装置４４等の内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ５０を制御対象とし、ロックアップクラッチ５２の係合状態を制御すべくロックアップクラッチ５２を操作する。また、制御装置７０は、変速装置６０を制御対象とし、その制御量としての変速比を制御すべく変速装置６０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、吸気バルブタイミング可変装置４４、ロックアップクラッチ５２、および変速装置６０のそれぞれの操作信号ＭＳ１～ＭＳ６を記載している。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａや、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度（スロットル開口度ＴＡ）、クランク角センサ８４の出力信号Ｓｃｒ、触媒３４の上流側に設けられた空燃比センサ８６の検出値Ａｆｕを参照する。また、制御装置７０は、吸気側カム軸４０の回転位相を検知するカム角センサ８５の出力信号Ｓｃａや、アクセルセンサ９０によって検出されるアクセルペダル９２の踏み込み量（アクセル操作量ＰＡ）、加速度センサ９４によって検出される車両ＶＣ１の前後方向の加速度Ｇｘを参照する。また、制御装置７０は、全地球測位システム（ＧＰＳ９６）による位置データＰｇｐｓや、車速センサ９８によって検出される車速Ｖを取得する。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリ（記憶装置７６）、および周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。

ＲＯＭ７４には、制御プログラム７４ａおよび学習プログラム７４ｂが記憶されている。一方、記憶装置７６には、変速装置６０の現在の変速比ＧＲ、アクセル操作量ＰＡ、車速Ｖ、道路の勾配ＳＬ、および道路の曲率ＣＵと、変速装置６０の変速比ＧＲとの関係を規定する関係規定データＤＲと、トルク出力写像データＤＴと、地図データＤＧとが記憶されている。

図２に、制御装置７０による変速装置６０の変速比の制御に関する処理の手順を示す。図２に示す処理は、ＲＯＭ７４に記憶されたプログラムをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

図２に示す一連の処理において、ＣＰＵ７２は、まず、位置データＰｇｐｓ、アクセル操作量ＰＡ、車速Ｖ、および変速比ＧＲを取得する（Ｓ１０）。次にＣＰＵ７２は、位置データＰｇｐｓと地図データＤＧとに基づき、車両ＶＣ１が走行している道路の勾配ＳＬと曲率ＣＵとを算出する（Ｓ１２）。すなわち、ＣＰＵ７２は、位置データＰｇｐｓによって、地図データＤＧが示す地図上の位置を特定し、特定された位置近傍の道路の勾配ＳＬと曲率ＣＵとを特定する。そして、ＣＰＵ７２は、Ｓ１０の処理において取得したアクセル操作量ＰＡ、車速Ｖおよび現在の変速比ＧＲと、Ｓ１２の処理において算出した勾配ＳＬおよび曲率ＣＵと、を状態ｓに設定する（Ｓ１４）。

次にＣＰＵ７２は、関係規定データＤＲが定める方策πに従い、Ｓ１４の処理によって取得した状態ｓに応じた変速比ＧＲを設定する（Ｓ１６）。
本実施形態において、関係規定データＤＲは、行動価値関数Ｑおよび方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓおよび行動ａの６次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓおよび行動ａのとりうる値の全組み合わせの一部が、人の知見等によって削減されたものである。

図３に、本実施形態にかかる行動価値関数Ｑの一部を例示する。図３（ａ１）には、現在の変速比ＧＲが２速である場合において、アクセル操作量ＰＡおよび車速Ｖに応じて行動ａとして１速をとりうる領域を「可」と記載し、１速をとりえない領域を「不可」と記載している。なお、図３（ａ１）には、行動ａが１速を示すことを「ａ＝１」と記載している。図３（ａ１）に示すように、車速Ｖが低速の領域に限って行動ａとして１速をとりうる。なお、「不可」と記載している領域は、行動変数ａの値が関係規定データＤＲにおいて定義されていない領域である。

図３（ａ２）には、現在の変速比ＧＲが２速である場合において、アクセル操作量ＰＡおよび車速Ｖに応じて行動ａとして２速をとりうる領域を「可」と記載し、２速をとりえない領域を「不可」と記載している。なお、図３（ａ２）には、行動ａが２速を示すことを「ａ＝２」と記載している。図３（ａ２）に示すように、行動ａとして２速をとりうる領域は、１速をとりうる領域と重複する部分を有しつつも、車速Ｖがより大きい領域となっている。

図３（ｂ１）には、現在の変速比ＧＲが３速である場合において、アクセル操作量ＰＡおよび車速Ｖに応じて行動ａとして１速をとりうる領域を示す。図３（ｂ１）に示すように、この場合、行動ａとして１速をとりうる領域は存在しない。

図３（ｂ２）には、現在の変速比ＧＲが３速である場合において、アクセル操作量ＰＡおよび車速Ｖに応じて行動ａとして２速をとりうる領域を「可」と記載し、２速をとりえない領域を「不可」と記載している。

上記設定は、変速比が３速から１速等、１つとびで切り替わることを許容しない設定である。
図２に戻り、ＣＰＵ７２は、Ｓ１６の処理によって設定した変速比ＧＲに基づき操作信号ＭＳ５を出力して変速装置６０を操作する（Ｓ１８）。次にＣＰＵ７２は、内燃機関１０の回転速度ＮＥを取得する（Ｓ２０）。ここで、ＣＰＵ７２は、回転速度ＮＥを、クランク角センサ８４の出力信号Ｓｃｒに基づき算出する。そしてＣＰＵ７２は、図２の一連の処理がはじめてなされた時点または後述のＳ２４の処理が実行された時点のうち遅い方から所定期間が経過したか否かを判定する（Ｓ２２）。そして、ＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ２２：ＹＥＳ）、強化学習によって行動価値関数Ｑを更新する（Ｓ２４）。

図４に、Ｓ２４の処理の詳細を示す。
図４に示す一連の処理において、ＣＰＵ７２は、上述の所定期間内における状態ｓおよび行動ａの時系列データを取得する（Ｓ３０）。図４には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、スロットル開口度ＴＡ（１）とスロットル開口度ＴＡ（２）とは、サンプリングタイミングが互いに異なるものである。また、所定期間内における行動ａの時系列データを、行動集合Ａｊとし、同所定期間内における状態ｓの時系列データを、状態集合Ｓｊと定義する。

次に、ＣＰＵ７２は、状態集合Ｓｊのうちの変速比ＧＲの時系列データに基づき、変速比が切り替えられた回数である切替回数ＮＳＧＲを算出する（Ｓ３２）。そしてＣＰＵ７２は、切替回数ＮＳＧＲが所定回数Ｎｔｈ以下である旨の条件（ア）と、所定期間内における回転速度ＮＥのサンプリング値が全て下限速度ＮＥｔｈＬ以上であって上限速度ＮＥｔｈＨ以下である旨の条件（イ）との論理積が真であるか否かを判定する（Ｓ３４）。ここで、論理積が真となることは、本実施形態においてドライバビリティに関して要求された基準を満たすことに相当する。

ここで、ＣＰＵ７２は、下限速度ＮＥｔｈＬを、勾配ＳＬおよび曲率ＣＵによって可変設定する。詳しくは、ＣＰＵ７２は、勾配ＳＬが大きい場合に小さい場合よりも下限速度ＮＥｔｈＬを大きい値に設定する。また、ＣＰＵ７２は、曲率ＣＵが大きい場合に小さい場合よりも下限速度ＮＥｔｈＬを大きい値に設定する。

ＣＰＵ７２は、論理積が真であると判定する場合（Ｓ３４：ＹＥＳ）、報酬ｒに「１０」を代入する一方（Ｓ３６）、偽であると判定する場合（Ｓ３４：ＮＯ）、報酬ｒに「－１０」を代入する（Ｓ３８）。ＣＰＵ７２は、Ｓ３６，Ｓ３８の処理が完了する場合、図１に示した記憶装置７６に記憶されている関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ７２は、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ４０）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次に、上記Ｓ３０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ４２）。ここで、平均化は、Ｓ４０の処理がなされた回数に所定数を加算した値によって、Ｓ４０の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は対応する行動価値関数Ｑの初期値とすればよい。

次にＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときの行動ａを、行動Ａｊ＊に代入する（Ｓ４４）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ４０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次に、ＣＰＵ７２は、上記Ｓ３０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ４６）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ４４によって選択された行動Ａｊ＊の選択確率を、「（１－ε）＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜－１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ４６の処理は、Ｓ４２の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ７２は、Ｓ４６の処理が完了する場合、図４に示す一連の処理を一旦終了する。
図２に戻り、ＣＰＵ７２は、Ｓ２４の処理が完了する場合や、Ｓ２２の処理において否定判定する場合には、図２に示す一連の処理を一旦終了する。なお、Ｓ１０～Ｓ２２の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ２４の処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。また、車両ＶＣ１の出荷時における関係規定データＤＲは、テストベンチで図２に示した処理と同様の処理を実行することによってあらかじめ学習がなされたデータとする。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ７２は、アクセル操作量ＰＡ、車速Ｖ、勾配ＳＬ、曲率ＣＵ、および現在の変速比ＧＲに基づき、方策πに従って、今回の制御周期においてとるべき変速比ＧＲである行動ａを設定する。ここでＣＰＵ７２は、基本的には、関係規定データＤＲに規定されている行動価値関数Ｑに基づき期待収益を最大とする行動ａを選択する。ただし、ＣＰＵ７２は、所定の確率「ε－ε／｜Ａ｜」で、期待収益を最大化する行動ａ以外の行動を選択することによって、期待収益を最大化する行動ａの探索を行う。これにより、ユーザによる車両ＶＣ１の運転に伴って、関係規定データＤＲを強化学習によって更新できる。したがって、アクセル操作量ＰＡ、車速Ｖ、勾配ＳＬ、曲率ＣＵ、および現在の変速比ＧＲに応じて更新すべき変速比ＧＲを、熟練者による工数を過度に大きくすることなく車両ＶＣ１の走行において適切な値に設定することができる。

ところで、たとえば現在の変速比が２速の場合に、探索として４速への切り替えを試すようなことは、変速比の急激な変化を招くことなどから、本実施形態では、望ましくない切り替えに当たると考える。そのため、探索によってそのような変速がなされないように、図３に例示したように、行動価値関数Ｑにおいて定義される行動ａを予め制限しておく。これにより、変速比の不適切な操作がなされることを抑制できる。

以上説明した本実施形態によれば、さらに以下に記載する作用効果が得られる。
（１）アクセル操作量ＰＡおよび車速Ｖのみならず、勾配ＳＬおよび曲率ＣＵに基づき変速比ＧＲを定めた。勾配ＳＬが大きい場合には小さい場合よりも駆動輪６６に要求されるトルクが大きくなる傾向や、カーブ走行時には直進走行時よりもアクセル操作およびブレーキ操作の一方から他方への切り替えがなされる頻度が高くなる傾向があることから、勾配ＳＬや曲率ＣＵに応じて適切な変速比が異なりうる。そこで本実施形態では、勾配ＳＬや曲率ＣＵに応じて変速比ＧＲを設定することにより、変速比ＧＲをより適切に設定することができる。ただし、勾配ＳＬや曲率ＣＵに基づき変速比ＧＲを設定する場合、アクセル操作量ＰＡおよび車速Ｖのみから変速比ＧＲを設定する場合と比較して、適合工数が大きくなる。したがって、本実施形態のように強化学習を用いることのメリットが特に大きい。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図５に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図５に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。

図５に示す一連の処理において、ＣＰＵ７２は、まず、アイドル回転速度制御の実行条件が成立するか否かを判定する（Ｓ５０）。この実行条件は、たとえばアクセル操作量ＰＡがゼロであることと、回転速度ＮＥが所定値以下であることとの論理積が真であるなどの条件とすればよい。

ＣＰＵ７２は、実行条件が成立していると判定する場合（Ｓ５０：ＹＥＳ）、状態ｓとして、回転速度ＮＥおよび目標回転速度ＮＥ＊を取得する（Ｓ５２）。ここで、目標回転速度ＮＥ＊は、ＣＰＵ７２により、たとえば内燃機関１０に要求される軸トルクが大きい場合に小さい場合よりも大きい値に算出されるものとすればよい。

次に、ＣＰＵ７２は、後述のＳ６０の処理において用いられた前回の回転速度ＮＥ（ｎ－１）と今回のＳ５２の処理で取得された回転速度ＮＥ（ｎ）との差の絶対値が所定値ΔＮＥｔｈよりも大きいか否かを判定する（Ｓ５６）。ここで、所定値ΔＮＥｔｈは、図５に示す一連の処理の周期における回転速度ＮＥの変化量として想定される最大値よりも大きい値に設定されている。ＣＰＵ７２は、所定値ΔＮＥｔｈよりも大きいと判定する場合、今回のＳ５２の処理において取得した回転速度ＮＥ（ｎ）の後述のＳ６０の処理において用いられた前回の回転速度ＮＥ（ｎ－１）に対する変化量の絶対値が所定値ΔＮＥｔｈとなるように、回転速度ＮＥ（ｎ）にガード処理を施す（Ｓ５８）。

ＣＰＵ７２は、Ｓ５８の処理が完了する場合や、Ｓ５６の処理において否定判定する場合には、関係規定データＤＲが定める方策πに従い、Ｓ５２の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊からなる行動ａを設定する（Ｓ６０）。なお、Ｓ５８の処理がなされている場合には、Ｓ５２の処理によって取得した状態ｓのうちの回転速度ＮＥ（ｎ）は、Ｓ５８の処理によってガード処理が施された値に補正されており、Ｓ６０の処理においては補正された値が用いられる。

本実施形態において、関係規定データＤＲは、行動価値関数Ｑおよび方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓおよび行動ａの４次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

次にＣＰＵ７２は、設定されたスロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊に基づき、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、吸気バルブタイミング可変装置４４に操作信号ＭＳ４を出力して吸気位相差ＤＩＮをフィードバック制御する（Ｓ６２）。なお、吸気位相差ＤＩＮは、ＣＰＵ７２によりクランク角センサ８４の出力信号Ｓｃｒおよびカム角センサ８５の出力信号Ｓｃａに基づき算出される。

次にＣＰＵ７２は、今回の回転速度ＮＥ（ｎ）を記憶装置７６に記憶した後、変数ｎを更新する（Ｓ６４）。これにより、今回Ｓ６４の処理によって記憶された回転速度ＮＥは、次回の制御周期におけるＳ５６の処理においては、前回の回転速度ＮＥ（ｎ－１）として読み出されることとなる。次にＣＰＵ７２は、噴射量指令値Ｑ＊を取得する（Ｓ６６）。ここで、噴射量指令値Ｑ＊は、ＣＰＵ７２により、たとえば検出値Ａｆｕを目標値に制御するうえで必要な燃料量として算出されるものである。

そしてＣＰＵ７２は、Ｓ５０の処理において否定判定される状態から肯定判定される状態に切り替わったタイミングと後述のＳ２４ａの処理が実行されたタイミングとのうちの遅い方から所定期間が経過したか否かを判定する（Ｓ６８）。そしてＣＰＵ７２は、所定期間が経過したと判定する場合（Ｓ６８：ＹＥＳ）、関係規定データＤＲを更新する（Ｓ２４ａ）。

図６に、Ｓ２４ａの処理の詳細を示す。
図６に示す一連の処理において、ＣＰＵ７２は、まず、所定期間内における噴射量指令値Ｑ＊の時系列データと、状態ｓおよび行動ａの時系列データと、を取得する（Ｓ７０）。次にＣＰＵ７２は、噴射量指令値Ｑ＊の時系列データの積算値ＩｎＱを算出する（Ｓ７２）。

そして、ＣＰＵ７２は、所定期間内における回転速度ＮＥと目標回転速度ＮＥ＊との差の絶対値が所定値Δ以下である旨の条件（カ）が成立するか否かを判定する（Ｓ７４）。ＣＰＵ７２は、条件（カ）が成立すると判定する場合（Ｓ７４：ＹＥＳ）、積算値ＩｎＱが高効率閾値ＩｎＱＬ以下である旨の条件（キ）が成立するか否かを判定する（Ｓ７６）。ここで、ＣＰＵ７２は、高効率閾値ＩｎＱＬを、目標回転速度ＮＥ＊に応じて可変設定する。詳しくは、ＣＰＵ７２は、目標回転速度ＮＥ＊が大きい場合に小さい場合よりも高効率閾値ＩｎＱＬを大きい値に設定する。ＣＰＵ７２は、条件（キ）が成立すると判定する場合（Ｓ７６：ＹＥＳ）、報酬ｒに「１０」を代入する（Ｓ７８）。

これに対し、ＣＰＵ７２は、高効率閾値ＩｎＱＬよりも大きいと判定する場合（Ｓ７６：ＮＯ）、積算値ＩｎＱが低効率閾値ＩｎＱＨ以上である旨の条件（ク）が成立するか否かを判定する（Ｓ８０）。ここで、ＣＰＵ７２は、低効率閾値ＩｎＱＨを、目標回転速度ＮＥ＊に応じて可変設定する。詳しくは、ＣＰＵ７２は、目標回転速度ＮＥ＊が大きい場合に小さい場合よりも低効率閾値ＩｎＱＨを大きい値に設定する。ＣＰＵ７２は、条件（ク）が成立すると判定する場合（Ｓ８０：ＹＥＳ）や、Ｓ７４の処理において否定判定する場合には、報酬ｒに「－１０」を代入する（Ｓ８２）。

なお、Ｓ７６～Ｓ８２の処理は、エネルギ利用効率が大きい場合に小さい場合よりも大きい報酬を与える処理である。
ＣＰＵ７２は、Ｓ７８，Ｓ８２の処理を完了する場合や、Ｓ８０の処理において否定判定する場合には、図１に示した記憶装置７６に記憶されている関係規定データＤＲを更新すべく、行動ａおよび状態ｓを図３の処理に対して変更しつつ、図３に示した処理の要領で、Ｓ４０～Ｓ４６の処理を実行する。そして、ＣＰＵ７２は、Ｓ４６の処理が完了する場合、図６に示す一連の処理を一旦終了する。

図５に戻り、ＣＰＵ７２は、Ｓ２４ａの処理が完了する場合や、Ｓ５０，Ｓ６８の処理において否定判定する場合には、図５に示す一連の処理を一旦終了する。なお、Ｓ５０～Ｓ６８の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ２４ａの処理は、ＣＰＵ７２が学習プログラム７４ｂを実行することにより実現される。また、車両ＶＣ１の出荷時における関係規定データＤＲは、テストベンチで図５に示した処理と同様の処理を実行することによってあらかじめ学習がなされたデータとする。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ７２は、アイドル回転速度制御時において、スロットル開口度ＴＡのみならず、吸気位相差ＤＩＮを操作量として、回転速度ＮＥを目標回転速度ＮＥ＊に制御する。これにより、吸気位相差指令値ＤＩＮ＊を固定してアイドル回転速度制御を実行する場合と比較すると、燃料消費量を低減した制御を実行可能となる。ただし、吸気位相差指令値ＤＩＮ＊を操作量に加える場合、適合工数が大きくなる。そこで本実施形態では、強化学習によって学習された関係規定データＤＲを用いてアイドル回転速度制御を実行する。

さらにＣＰＵ７２は、方策πに従って、スロットル開口度指令値ＴＡ＊および吸気位相差指令値ＤＩＮ＊からなる行動ａを設定する。ここでＣＰＵ７２は、基本的には、関係規定データＤＲに規定されている行動価値関数Ｑに基づき期待収益を最大とする行動ａを選択する。ただし、ＣＰＵ７２は、所定の確率「ε－ε／｜Ａ｜」で、期待収益を最大化する行動ａ以外の行動を選択することによって、期待収益を最大化する行動ａの探索を行う。これにより、関係規定データＤＲを、内燃機関１０の個体差や経年変化を反映した適切なデータへと強化学習によって更新できる。

また、本実施形態では、行動価値関数Ｑへの入力となる今回の回転速度ＮＥ（ｎ）の前回の回転速度ＮＥ（ｎ－１）からの変化量を所定値ΔＮＥｔｈ以下に制限した。ここで、所定値ΔＮＥｔｈは、図５の処理の制御周期における回転速度ＮＥの変化量の想定最大値よりも大きい値であることから、今回の回転速度ＮＥ（ｎ）の前回の回転速度ＮＥ（ｎ－１）からの変化量が所定値ΔＮＥｔｈを超えている場合、今回の回転速度ＮＥ（ｎ）がノイズ等の影響で実際の回転速度ＮＥとは相違する値となっていると考えられる。したがって、所定値ΔＮＥｔｈ以下に制限することにより、異常な回転速度ＮＥ（ｎ）に基づきスロットル開口度指令値ＴＡ＊や吸気位相差指令値ＤＩＮ＊が設定されることを抑制できる。これにより、特に、スロットル開口度指令値ＴＡ＊や吸気位相差指令値ＤＩＮ＊の急激な変化を抑制することが可能となる。すなわち、前回の回転速度ＮＥ（ｎ－１）と今回の回転速度ＮＥ（ｎ）との差の絶対値が過度に大きい場合、グリーディ行動が前回と今回とで大きく異なると考えられる。したがって、双方においてグリーディ行動が選択される場合、前回の回転速度ＮＥ（ｎ－１）と今回の回転速度ＮＥ（ｎ）との差の絶対値が過度に大きい場合、スロットル開口度指令値ＴＡ＊や吸気位相差指令値ＤＩＮ＊が急激に変化するおそれがある。

＜第３の実施形態＞
以下、第３の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、強化学習として、方策勾配法を用いる。
また、本実施形態では、スロットル開口度指令値ＴＡ＊、点火時期の遅角量ａｏｐ、およびベース噴射量Ｑｂｓｅを、アイドル回転速度制御に限らない一般の行動変数として強化学習を実行する。ここで、遅角量ａｏｐは、予め定められた基準点火時期に対する遅角量であり、基準点火時期は、ＭＢＴ点火時期とノック限界点とのうちの遅角側の時期である。ＭＢＴ点火時期は、最大トルクの得られる点火時期（最大トルク点火時期）である。またノック限界点は、ノック限界の高い高オクタン価燃料の使用時に、想定される最良の条件下で、ノッキングを許容できるレベル以内に収めることのできる点火時期の進角限界値である。また、ベース噴射量Ｑｂｓｅは、検出値Ａｆｕを目標値に制御するための開ループ操作量である。

図７に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図７に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｂをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。

図７に示す一連の処理において、ＣＰＵ７２は、まず、状態ｓとして、アクセル操作量ＰＡ、回転速度ＮＥ、および充填効率ηの時系列データを取得する（Ｓ９０）。本実施形態では、アクセル操作量ＰＡ、回転速度ＮＥ、および充填効率ηを、等間隔でサンプリングされた６個の値とする。

そして、ＣＰＵ７２は、方策πを定める関数近似器の入力変数に、状態ｓを代入する（Ｓ９２）。詳しくは、ＣＰＵ７２は、「ｉ＝１～６」として、入力変数ｘ（ｉ）にアクセル操作量ＰＡ（ｉ）を代入し、入力変数ｘ（６＋ｉ）に回転速度ＮＥ（ｉ）を代入し、入力変数ｘ（１２＋ｉ）に充填効率η（ｉ）を代入する。

そしてＣＰＵ７２は、方策を定める関数近似器に入力変数ｘ（１）～ｓ（１８）を代入する（Ｓ９４）。本実施形態では、方策πを、行動を定める各操作量の取りうる確率を定める多変量ガウス分布とする。ここで、多変量ガウス分布の平均値μ（１）は、スロットル開口度指令値ＴＡ＊の平均値を示し、平均値μ（２）は、遅角量ａｏｐの平均値を示し、平均値μ（３）は、ベース噴射量Ｑｂｓｅの平均値を示す。また、本実施形態では、多変量ガウス分布の共分散行列を対角行列とし、各平均値μ（ｉ）に対応する分散σ（ｉ）が各別の値となりうるものとする。

本実施形態では、平均値μ（ｉ）を、中間層の層数が「ｐ－１」個であって且つ、各中間層の活性化関数ｈ１～ｈｐ－１がハイパボリックタンジェントであり、出力層の活性化関数ｈｐがＲｅＬＵであるニューラルネットワークによって構成されている。ここで、ＲｅＬＵは、入力と「０」とのうちの小さくない方を出力する関数である。また、ｍ＝２，３，…，ｐとすると、第「ｍ－１」の中間層の各ノードの値は、係数ｗ（ｍ）によって規定される線形写像の出力を活性化関数ｈｍに入力することによって生成される。ここで、ｎ１，ｎ２，…，ｎｐ－１は、それぞれ、第１、第２、…、第ｐ－１中間層のノード数である。たとえば、第１の中間層の各ノードの値は、係数ｗ（１）ｊｉ（ｊ＝０～ｎ１，ｉ＝０～１８）によって規定される線形写像に上記入力変数ｘ（１）～ｘ（１８）を入力した際の出力を活性化関数ｈ１に入力することによって生成される。ちなみに、ｗ（１）ｊ０等は、バイアスパラメータであり、入力変数ｘ（０）は、「１」と定義している。

上記ニューラルネットワークは、活性化関数ｈｐの３つの出力それぞれを、平均値μ（ｉ）とするものである。
また、本実施形態では、分散σ（ｉ）を、係数ｗＴｉｋ（ｉ＝１～３，ｋ＝１～１８）によって規定される線形写像によって入力変数ｘ（１）～ｘ（１８）を線形変換した値のそれぞれを関数ｆに入力した際の関数ｆの値とする。本実施形態では、関数ｆとして、ＲｅＬＵを例示する。

次にＣＰＵ７２は、Ｓ９４の処理によって算出された平均値μ（ｉ）および分散σ（ｉ）にて定義される方策πに基づき、行動ａを決定する（Ｓ９６）。ここでは、平均値μ（ｉ）を選択する確率が最も高く、且つ、平均値μ（ｉ）を選択する確率は、分散σ（ｉ）が小さい場合に大きい場合よりも大きくなる。

ただし、本実施形態では、グリーディ行動を平均値μ（ｉ）に対応する行動であるとみなし、探索によってとりうる行動ａを構成する各変数の値とグリーディ行動を構成する各変数の値との差の絶対値を所定値δ以下に制限する。すなわち、方策πの確率分布を多変量ガウス分布とする場合、平均値μ（ｉ）から大きく離れた値を有する行動ａの確率は、非常に小さいもののゼロとはならない。すなわち、平均値μ（ｉ）から大きく離れた値を有する行動ａが関係規定データＤＲによって指定される可能性がある。そして低確率とはいえ、探索として極端な行動ａをとることは望ましくないことから、グリーディ行動との差の絶対値を所定値δ以下に制限する。これは、方策πの値によって定まる選択確率が所定値未満の行動ａの採用を禁止することに対応する。

次に、ＣＰＵ７２は、Ｓ９６の処理によって設定された今回の遅角量ａｏｐ（ｎ）と、後述のＳ１０２の処理に採用された前回の遅角量ａｏｐ（ｎ－１）との差の絶対値が所定値Δａｏｐｔｈよりも大きいか否かを判定する（Ｓ９８）。そしてＣＰＵ７２は、所定値Δａｏｐｔｈよりも大きいと判定する場合（Ｓ９８：ＹＥＳ）、Ｓ１０２の処理に採用された前回の遅角量ａｏｐ（ｎ－１）との差の絶対値が所定値Δａｏｐｔｈとなるように、遅角量ａｏｐ（ｎ）にガード処理を施す（Ｓ１００）。すなわち、ＣＰＵ７２は、関係規定データＤＲが指定する遅角量ａｏｐに対してガード処理を施す。

ＣＰＵ７２は、Ｓ１００の処理が完了する場合や、Ｓ９８の処理において否定判定される場合には、スロットルバルブ１４に操作信号ＭＳ１を出力し、点火装置２６に操作信号ＭＳ３を出力し、燃料噴射弁１６に操作信号ＭＳ２を出力する（Ｓ１０２）。詳しくは、ＣＰＵ７２は、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御すべく、操作信号ＭＳ１を出力する。また、ＣＰＵ７２は、点火時期を、基準点火時期を遅角量ａｏｐにて遅角された値がノッキング制御にてフィードバック補正された値に制御すべく、操作信号ＭＳ３を出力する。ここで、基準点火時期は、ＣＰＵ７２により、クランク軸２８の回転速度ＮＥおよび充填効率ηに応じて可変設定される。なお、充填効率ηは、回転速度ＮＥおよび吸入空気量Ｇａに基づきＣＰＵ７２によって算出される。また、ＣＰＵ７２は、ベース噴射量Ｑｂｓｅが、検出値Ａｆｕを目標値Ａｆｕ＊にフィードバック制御するための操作量であるフィードバック補正係数にて補正された値に基づき操作信号ＭＳ２を出力する。

そしてＣＰＵ７２は、Ｓ１０２の処理において用いた遅角量ａｏｐを記憶装置７６に記憶させ、変数ｎを更新する（Ｓ１０４）。これにより、今回Ｓ１０４の処理において記憶された遅角量ａｏｐが次回のＳ９８の処理においては、前回の遅角量ａｏｐ（ｎ－１）として読み出されることとなる。

そしてＣＰＵ７２は、関係規定データＤＲを更新するための処理を実行し（Ｓ２４ｂ）、図７に示す一連の処理を一旦終了する。
図８に、Ｓ２４ｂの処理の詳細を示す。

ＣＰＵ７２は、行動ａおよび状態ｓに加えて、トルク指令値Ｔｒｑ＊、トルクＴｒｑ、加速度Ｇｘおよび検出値Ａｆｕを取得する（Ｓ１１０）。ここで、ＣＰＵ７２は、トルクＴｒｑを、回転速度ＮＥ、充填効率ηおよび点火時期を、トルク出力写像データＤＴによって規定されるトルク出力写像に入力することによって算出する。また、ＣＰＵ７２は、トルク指令値Ｔｒｑ＊を、アクセル操作量ＰＡに応じて設定する。

次にＣＰＵ７２は、以下の条件（サ）～条件（ス）の論理積が真であるか否かを判定する（Ｓ１１２）。
条件（サ）：トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件である。

条件（シ）加速度Ｇｘが下限値ＧｘＬ以上であって上限値ＧｘＨ以下である旨の条件である。
条件（ス）：検出値Ａｆｕがリッチ側閾値ＡｆＲ以上であって且つリーン側閾値ＡｆＬ以下である旨の条件である。

そしてＣＰＵ７２は、論理積が真であると判定する場合（Ｓ１１２：ＹＥＳ）、報酬ｒに「１０」を代入する（Ｓ１１４）一方、偽であると判定する場合（Ｓ１１２：ＮＯ）、報酬ｒに「－１０」を代入する（Ｓ１１６）。なお、Ｓ１１２～Ｓ１１６の処理は、ドライバビリティが基準を満たす場合に満たさない場合よりも大きい報酬を与える処理および排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理である。ＣＰＵ７２は、Ｓ１１４，Ｓ１１６の処理が完了する場合、収益Ｒに報酬ｒを加算する（Ｓ１１８）。

そして、ＣＰＵ７２は、変数ｔが所定時間Ｔ－１に達したか否かを判定する（Ｓ１２０）。ＣＰＵ７２は、所定時間Ｔ－１に達していないと判定する場合（Ｓ１２０：ＮＯ）、変数ｔをインクリメントする（Ｓ１２２）。

これに対しＣＰＵ７２は、所定時間Ｔ－１に達すると判定する場合（Ｓ１２０：ＹＥＳ）、収益Ｒｉに、収益Ｒを代入した後、収益Ｒを初期化し、さらに、変数ｔを初期化する（Ｓ１２４）。次にＣＰＵ７２は、変数ｉが所定値Ｎに達したか否かを判定する（Ｓ１２６）。そして、ＣＰＵ７２は、所定値Ｎに達していないと判定する場合（Ｓ１２６：ＮＯ）、変数ｉをインクリメントする（Ｓ１２８）。

これに対し、ＣＰＵ７２は、所定値Ｎに達すると判定する場合（Ｓ１２６：ＹＥＳ）、方策勾配法によって、方策πを規定する変数ｗ（１）～ｗ（ｐ）や係数ｗＴを更新する（Ｓ１３０）。図８には、方策πを規定する変数ｗ（１）～ｗ（ｐ）や係数ｗＴを総括してパラメータθと記載している。

ここで、変数ｔが０～Ｔ－１となるまでにおける、状態ｓ、行動ａおよび報酬ｒの、Ｔ個の組を、トラジェクトリｈｔとし、確率ｐθ（ｈｔ）を、パラメータθによって規定される方策πに従ってトラジェクトリｈｔとなる確率ｐθ（ｈｔ）とする。ここでは、「ｐθ（ｈｔ）・Ｒｔ」のトラジェクトリｈｔによる積分値は、収益Ｒ（ｈｔ）の期待値（期待収益Ｊ）であり、これを最大化するように、パラメータθを更新する。これは、パラメータθの各成分の更新量を、同成分によって上記期待収益Ｊを偏微分した値に比例した量とすることにより実現できる。

ここで、確率ｐθ（ｈｔ）は、状態ｓ０，ｓ１，…ｓＴ、行動ａ０，ａ１，…ａＴを用いると、
ｐθ（ｈｔ）
＝ｐ（ｓ０）・ｐ（ｓ１｜ｓ０，ａ０）・π（ａ０｜ｓ０）・ｐ（ｓ２｜ｓ１，ａ１）・π（ａ１｜ｓ１）…ｐ（ｓＴ｜ｓＴ－１，ａＴ－１）・π（ａＴ－１｜ｓＴ－１）
となる。ただし、初期確率ｐ（ｓ０）は、状態ｓ０となる確率であり、遷移確率ｐ（ｓｔ＋１｜ｓｔ，ａｔ）は、状態ｓｔ、行動ａｔのときに状態ｓｔから状態ｓｔ＋１に遷移する確率である。

したがって、期待収益Ｊの偏微分は、下記の式（ｃ１）となる。

ここで、確率ｐθ（ｈｔ）については、知ることができないことから、上記の式（ｃ１）における積分を、複数（ここでは、所定値Ｎ個）のトラジェクトリｈｔによる平均値に置き換える。

これにより、期待収益Ｊのパラメータθの各成分による偏微分は、方策π（ａｔ｜ｓｔ）の対数のパラメータθの該当する成分による偏微分係数の「ｔ＝０～Ｔ－１」における和と収益Ｒｉとの積を、所定値Ｎ個の収益Ｒｉについて加算し、所定値Ｎで除算した値となる。

そしてＣＰＵ７２は、パラメータθの各成分による期待収益Ｊの偏微分係数に学習率αを乗算した値を、パラメータθのうちの該当する成分の更新量とする。
なお、Ｓ１１８～Ｓ１３０の処理は、ＲＯＭ７４に記憶された学習プログラム７４ｂのうち、状態ｓ０，ｓ１，…、行動ａ０，ａ１，…、および報酬ｒを入力とし、更新されたパラメータθを出力する更新写像の実行指令が実行されることによって実現される。

ＣＰＵ７２は、Ｓ１３０の処理が完了する場合、変数ｉおよび収益Ｒ１～ＲＮを初期化する（Ｓ１３２）。
なお、ＣＰＵ７２は、Ｓ１２２，Ｓ１２８，Ｓ１３２の処理が完了する場合、図８に示す一連の処理を一旦終了する。

ここで、本実施形態の作用および効果について説明する。
ＣＰＵ７２は、アクセル操作量ＰＡ、回転速度ＮＥおよび充填効率ηの時系列データに基づき、方策πに従って、スロットル開口度指令値ＴＡ＊、遅角量ａｏｐおよびベース噴射量Ｑｂｓｅを設定する。ここで、過渡時においては開ループ操作量としてのベース噴射量Ｑｂｓｅを充填効率ηに比例した値としたのみでは、検出値Ａｆｕがリッチ側閾値ＡｆＲとリーン側閾値ＡｆＬとの間から外れるおそれがある。そして、どのようにベース噴射量Ｑｂｓｅを設定すればよいかを、熟練者による試行錯誤の繰り返しによって行う場合には、熟練者に要求される工数が多くなる。これに対し、本実施形態では、過渡時の開ループ制御の噴射量であるベース噴射量Ｑｂｓｅを強化学習によって学習することにより、熟練者に要求される工数を効果的に削減できる。

ここで、ＣＰＵ７２は、方策πに基づき、スロットル開口度指令値ＴＡ＊、遅角量ａｏｐおよびベース噴射量Ｑｂｓｅを設定する際、グリーディ行動が示す値との差の絶対値を所定値δ以下に制限する。これにより、探索として過度に不適切な値が採用されることを抑制できる。また、ＣＰＵ７２は、今回の点火時期の設定に用いる遅角量ａｏｐ（ｎ）と前回点火時期の設定に用いた遅角量ａｏｐ（ｎ－１）との差の絶対値を所定値Δａｏｐｔｈ以下に制限する。これにより、点火時期が急激に変化することを抑制できる。

以上説明した本実施形態によれば、さらに以下に記載する効果が得られる。
（２）関係規定データＤＲに関数近似器を用いることにより、状態や行動が連続変数であっても、これを容易に扱うことができる。

（３）行動価値関数Ｑの独立変数にアクセル操作量ＰＡの時系列データを含めた。これにより、アクセル操作量ＰＡに関して単一のサンプリング値のみを独立変数とする場合と比較して、アクセル操作量ＰＡの様々な変化に対して行動ａの値をきめ細かく調整できる。

（４）行動価値関数Ｑの独立変数に、スロットル開口度指令値ＴＡ＊自体を含めた。これにより、たとえば、スロットル開口度指令値ＴＡ＊の挙動をモデル化したモデル式のパラメータ等をスロットル開口度に関する独立変数とする場合と比較して、強化学習による探索の自由度を高めることが容易である。

＜第４の実施形態＞
以下、第４の実施形態について、第３の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、関係規定データＤＲの更新を、車両ＶＣ１の外で実行する。
図９に、本実施形態において、強化学習を実行する制御システムの構成を示す。なお、図９において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図９に示す車両ＶＣ１内の制御装置７０におけるＲＯＭ７４は、制御プログラム７４ａを記憶しているものの、学習プログラム７４ｂを記憶していない。また、制御装置７０は、通信機７７を備えている。通信機７７は車両ＶＣ１の外部のネットワーク１００を介してデータ解析センター１１０と通信するための機器である。

データ解析センター１１０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。データ解析センター１１０は、ＣＰＵ１１２、ＲＯＭ１１４、電気的に書き換え可能な不揮発性メモリ（記憶装置１１６）、周辺回路１１８および通信機１１７を備えており、それらがローカルネットワーク１１９によって通信可能とされるものである。ＲＯＭ１１４には、学習プログラム１１４ａが記憶されており、記憶装置１１６には、関係規定データＤＲが記憶されている。

図１０に、本実施形態にかかる強化学習の処理手順を示す。図１０（ａ）に示す処理は、図９に示すＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。また、図１０（ｂ）に示す処理は、ＲＯＭ１１４に記憶されている学習プログラム１１４ａをＣＰＵ１１２が実行することにより実現される。なお、図１０において図７に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、強化学習の時系列に沿って、図１０に示す処理を説明する。

図１０（ａ）に示す一連の処理において、ＣＰＵ７２は、Ｓ９０～Ｓ１０４の処理を実行し、通信機７７を操作することによって、関係規定データＤＲの更新処理に必要なデータを送信する（Ｓ１４０）。ここで、送信対象とされるデータは、状態ｓ、行動ａ、トルク指令値Ｔｒｑ＊、トルクＴｒｑ、加速度Ｇｘ、および検出値Ａｆｕを含む。

これに対し、図１０（ｂ）に示すように、ＣＰＵ１１２は、送信されたデータを受信し（Ｓ１５０）、受信したデータに基づき関係規定データＤＲを更新する（Ｓ２４ｂ）。そしてＣＰＵ１１２は、送信すべき更新された関係規定データＤＲがあるか否かを判定し（Ｓ１５２）、あると判定する場合（Ｓ１５２：ＹＥＳ）、通信機１１７を操作して、Ｓ１５０の処理によって受信したデータを送信した車両ＶＣ１に関係規定データＤＲを送信する（Ｓ１５４）。ここでは、関係規定データＤＲの更新回数が所定回数以上である場合に、送信すべき更新された関係規定データＤＲがあるとすればよい。なお、ＣＰＵ１１２は、Ｓ１５４の処理を完了する場合や、Ｓ１５２の処理において否定判定する場合には、図１０（ｂ）に示す一連の処理を一旦終了する。

これに対し、図１０（ａ）に示すように、ＣＰＵ７２は、更新データがあるか否かを判定し（Ｓ１４２）、あると判定する場合（Ｓ１４２：ＹＥＳ）、更新された関係規定データＤＲを受信する（Ｓ１４４）。そしてＣＰＵは、Ｓ９６の処理において利用する関係規定データＤＲを、受信した関係規定データＤＲに書き換える（Ｓ１４６）。なお、ＣＰＵ７２は、Ｓ１４６の処理を完了する場合や、Ｓ１４２の処理において否定判定する場合には、図１０（ａ）に示す一連の処理を一旦終了する。

このように、本実施形態によれば、関係規定データＤＲの更新処理を車両ＶＣ１の外部で行うことから、制御装置７０の演算負荷を軽減できる。さらに、たとえばＳ１５０の処理において、複数の車両ＶＣ１，ＶＣ２からのデータを受信してＳ２４ｂの処理を行うなら、学習に用いるデータ数を容易に大きくすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１］実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、記憶装置は、記憶装置７６に対応する。取得処理は、Ｓ１０，Ｓ１２，Ｓ２０，Ｓ５２，Ｓ６６，Ｓ９０，Ｓ１１０の処理に対応し、操作処理は、図２のＳ１８の処理や、図５のＳ５６～Ｓ６２の処理、図７のＳ９６～Ｓ１０２の処理に対応する。報酬算出処理は、図３のＳ３４～Ｓ３８の処理や、図６のＳ７４～Ｓ８２の処理、図８のＳ１１２～Ｓ１１６の処理に対応する。更新処理は、Ｓ４０～Ｓ４６の処理や、Ｓ１１８～Ｓ１３０の処理に対応する。更新写像は、学習プログラム７４ｂのうちＳ４０～Ｓ４６の処理を実行する指令によって規定された写像や、Ｓ１１８～Ｓ１３０の処理を実行する指令によって規定された写像に対応する。図３においては、第１の値は、１速に対応する「１」に対応し、第１の状況は、変速比が２速である状況に対応し、第２の状況は、変速比が３速である状況に対応する。図５においては、第１の値は、前回の回転速度ＮＥ（ｎ－１）との差の絶対値が所定値ΔＮＥｔｈ以下である回転速度ＮＥおよび方策πによってはとりえない行動変数の値に対応する。また、第２の状況は、前回の回転速度ＮＥ（ｎ－１）との差の絶対値が所定値ΔＮＥｔｈを超える回転速度ＮＥである状況に対応し、第１の状況は、前回の回転速度ＮＥ（ｎ－１）との差の絶対値が所定値ΔＮＥｔｈ以下の回転速度ＮＥである状況に対応する。［２］図３に例示したデータに対応する［３］制限処理は、Ｓ５６，Ｓ５８の処理や、Ｓ９６～Ｓ１００の処理に対応する。［４，５］記憶処理は、Ｓ１０４の処理に対応し、制限処理は、Ｓ９８，Ｓ１００の処理に対応する。［６］制限処理は、Ｓ９６の処理に対応する。［７］記憶処理は、Ｓ６４の処理に対応し、補正処理は、Ｓ５８の処理に対応する。［８～１０］第１実行装置は、ＣＰＵ７２およびＲＯＭ７４に対応し、第２実行装置は、ＣＰＵ１１２およびＲＯＭ１１４に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「制限処理について」
・図７の処理では、遅角量ａｏｐに限って、前回の遅角量ａｏｐ（ｎ－１）との差の絶対値を制限する処理を実行したが、これに限らない。たとえば、スロットル開口度指令値ＴＡ＊についても前回値との差の絶対値を制限する処理を実行してもよく、またたとえば、ベース噴射量Ｑｂｓｅについても前回値との差の絶対値を制限する処理を実行してもよい。また、たとえば、スロットル開口度指令値ＴＡ＊について前回値との差の絶対値を制限する処理を実行しつつも、遅角量ａｏｐについては前回値との差の絶対値を制限する処理を実行しなくてもよい。

・図７の処理では、方策πが示す選択確率が所定値未満となる行動変数の値による操作を禁止する処理において、所定値を、平均値μとの差の絶対値が「δ・μ」となるときの行動変数の値の選択確率としたが、これに限らない。たとえば、所定値を分散を入力として可変設定してもよい。

・前回値との差の絶対値を制限する処理と、方策πが示す選択確率が所定値未満となる行動変数の値による操作を禁止する処理との双方を実行することは必須ではない。
・制限処理としては、前回の行動変数の値との差の絶対値を制限する処理や、前回の状態の値との差の絶対値を制限することによって前回の行動変数の値との差の絶対値を制限する処理、選択確率が小さい行動変数の値の採用を制限する処理に限らない。たとえば、アクセル操作量ＰＡがゼロより大きい規定値以上の場合に、スロットル開口度指令値ＴＡ＊がゼロとなることを禁止する処理等、探索等によってグリーディ行動となりえないと考えられる行動変数の値を予め定めておくようにしてもよい。

「行動変数について」
・図７の処理では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。たとえば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間および２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

・上記実施形態では、行動変数としての点火時期に関する変数として、遅角量ａｏｐを例示したが、これに限らない。たとえば、ＫＣＳによる補正対象とされる点火時期自体であってもよい。

・図７の処理では、行動変数として、スロットルバルブの開口度に関する変数、点火時期に関する変数、および燃料噴射量を例示したが、これに限らない。たとえば、それら３つに関しては、行動変数としてスロットルバルブの開口度に関する変数および燃料噴射量のみを採用したり、点火時期に関する変数および燃料噴射量のみを採用したりしてもよい。さらに、それら３つに関しては、行動変数としてそれらのうちの１つのみを採用してもよい。

・「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用い、点火時期に関する変数に代えて噴射時期に関する変数を用いればよい。なお、噴射時期に関する変数に加えて、１燃焼サイクルにおける噴射回数に関する変数や、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を加えることが望ましい。

・たとえば変速装置６０が有段変速装置の場合、クラッチの係合状態を油圧によって調整するためのソレノイドバルブの電流値等を行動変数としてもよい。
・たとえば、下記「車両について」の欄に記載したように車両としてハイブリッド車や、電気自動車、燃料電池車を採用する場合、回転電機のトルクや出力を行動変数としてもよい。またたとえば、内燃機関のクランク軸の回転動力によって回転するコンプレッサを備えた車載空調装置を備える場合、コンプレッサの負荷トルクを行動変数に含めてもよい。また、電動式の車載空調装置を備える場合、空調装置の消費電力を行動変数に含めてもよい。

「状態について」
・上記実施形態では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、たとえば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量等であってもよい。

・図７の処理では、回転速度ＮＥの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・図７の処理では、充填効率ηの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・図７の処理において、アクセル操作量ＰＡ、回転速度ＮＥ、および充填効率ηのそれぞれの時系列データを用いることは必須ではない。たとえばアクセル操作量ＰＡおよび充填効率ηの時系列データのみを用いてもよい。なお、複数の変数の時系列データを用いる場合、それらのサンプリング数が同一であることも必須ではない。

・たとえば「行動変数について」の欄に記載したように、ソレノイドバルブの電流値を行動変数とする場合、状態に、変速装置の入力軸６２の回転速度や出力軸６４の回転速度、ソレノイドバルブによって調整される油圧を含めればよい。またたとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、状態に、バッテリの充電率や温度を含めればよい。またたとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動に含める場合、状態に、車室内の温度を含めればよい。

「関係規定データについて」
・上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

・車両の状態が第１の状況に対応する第１の状態のときには、行動変数の値として第１の値が定義されている一方、車両の状態が第２の状況に対応する第２の状態のときには、行動変数の値として第１の値が定義されていないデータとしては、図３に例示したものに限らない。たとえば、図５の処理において、回転速度ＮＥが目標回転速度ＮＥ＊よりも低い場合に、スロットル開口度指令値ＴＡ＊が所定値以下である行動変数の値を予め行動価値関数Ｑの独立変数として定義しないもの等であってもよい。

「操作処理について」
・たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを特定すればよい。すなわちたとえば、主として特定された行動ａを操作に採用しつつも、所定の確率でそれ以外の行動を選択すればよい。

「更新写像について」
・Ｓ４０～Ｓ４６の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型ＴＤ法を用いたり、またたとえばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

・方策πを定める「ε」については、固定値に限らず、学習の進行度合いに応じてあらかじめ定められた規則に応じて変更してもよい。これは、たとえば、行動価値関数Ｑの値が収束する場合、「ε」をゼロとしてグリーディ行動のみを選択するようにすることで実現できる。その場合、今回の回転速度ＮＥ（ｎ）と前回の回転速度ＮＥ（ｎ－１）との差の絶対値が所定値ΔＮＥｔｈよりも大きいなら、行動ａの値が確率的な要素なしに急激に変化すると考えられることから、Ｓ５６，Ｓ５８の処理の利用価値が特に大きい。

「報酬算出処理について」
・図４の処理では、条件（ア）および条件（イ）の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理とを実行してもよい。また、たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理との２つの処理に関しては、それらのうちのいずれか１つの処理のみを実行してもよい。

・ドライバビリティに関する基準としては、上述したものに限らず、たとえば騒音や振動強度が基準を満たすか否かに応じて設定してもよい。もっともこれに限らず、上記加速度が基準を満たすか否かと、トルクＴｒｑの追従性が基準を満たすか否かと、騒音が基準を満たすか否かと、振動強度が基準を満たすか否かとの４つのうちの任意の１つ以上であってよい。

・報酬算出処理としては、報酬ｒを、ドライバビリティに関する基準を満たすか否かに応じて与える処理と、エネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、燃料消費率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理との３つをすべて含んでもよい。また、３つの処理のうちの任意の２つまたは１つのみを含んでよい。

・またとえば「行動変数について」の欄に記載したように、変速装置６０のソレノイドバルブの電流値を行動変数とする場合、たとえば報酬算出処理に以下の（ａ）～（ｃ）の３つの処理のうちの少なくとも１つの処理を含めればよい。

（ａ）変速装置による変速比の切り替えに要する時間が所定時間以内である場合に所定時間を超える場合よりも大きい報酬を与える処理である。
（ｂ）変速装置の入力軸６２の回転速度の変化速度の絶対値が入力側所定値以下である場合に入力側所定値を超える場合よりも大きい報酬を与える処理である。

（ｃ）変速装置の出力軸６４の回転速度の変化速度の絶対値が出力側所定値以下である場合に出力側所定値を超える場合よりも大きい報酬を与える処理である。
・たとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、バッテリの充電率が所定範囲内にある場合にない場合よりも大きい報酬を与える処理や、バッテリの温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を含めてもよい。また、たとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動変数に含める場合、車室内の温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を加えてもよい。

「車両用制御システムについて」
・図１０に示した例では、Ｓ２４ｂの処理の全てをデータ解析センター１１０にて実行したが、これに限らない。たとえば、データ解析センター１１０においては、Ｓ１１８～Ｓ１３０の処理を実行するものの、報酬の算出処理であるＳ１１２～Ｓ１１６の処理については実行せず、Ｓ１４０の処理において、Ｓ１１４，Ｓ１１６の処理の結果を送信することとしてもよい。

・車両用制御システムとしては、制御装置７０およびデータ解析センター１１０によって構成されるものに限らない。たとえば、データ解析センター１１０に代えて、ユーザが所持する携帯端末を用い、制御装置７０および携帯端末によって車両用制御システムを構成してもよい。また、たとえば、制御装置７０、携帯端末、およびデータ解析センター１１０によって構成してもよい。これは、たとえば図１０のＳ９４，Ｓ９６の処理を携帯端末が実行することによって実現できる。

「実行装置について」
・実行装置としては、ＣＰＵ７２（１１２）とＲＯＭ７４（１１４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「記憶装置について」
・上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習プログラム７４ｂや制御プログラム７４ａが記憶される記憶装置（ＲＯＭ７４）とを別の記憶装置としたが、これに限らない。

「内燃機関について」
・内燃機関としては、燃料噴射弁として吸気通路１２に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室２４に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。

・内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。
「車両について」
・車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車であってもよい。

１０…内燃機関
１２…吸気通路
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２０…シリンダ
２２…ピストン
２４…燃焼室
２６…点火装置
２８…クランク軸
４０…吸気側カム軸
４４…吸気バルブタイミング可変装置
５０…トルクコンバータ
５２…ロックアップクラッチ
６０…変速装置
７０…制御装置
１１０…データ解析センター

Claims (10)

1. 実行装置および記憶装置を備え、
   前記記憶装置には、車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されており、
   前記実行装置は、
   センサの検出値に基づく前記車両の状態を取得する取得処理と、
   前記取得処理によって取得された前記車両の状態と前記関係規定データとによって定まる前記行動変数の値に基づき前記電子機器を操作する操作処理と、
   前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
   前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行し、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
   前記関係規定データが指定する前記行動変数の値が第１の値であるとして該第１の値に従って前記操作処理により前記電子機器を操作する処理が、第１の状況において実行可能であって且つ第２の状況においては実行不可とされている車両用制御装置。
2. 前記関係規定データは、前記車両の状態が前記第１の状況に対応する第１の状態のときには、前記行動変数の値として前記第１の値が定義されている一方、前記車両の状態が前記第２の状況に対応する第２の状態のときには、前記行動変数の値として前記第１の値が定義されていないデータである請求項１記載の車両用制御装置。
3. 前記操作処理は、前記関係規定データが指定する前記行動変数の値が第１の値である場合に、前記第１の状況において前記第１の値に従って前記電子機器を操作する処理を許容して且つ、前記第２の状況において前記第１の値に従って前記電子機器を操作する処理を許容しない制限処理を含む請求項１記載の車両用制御装置。
4. 前記第１の状況は、前回の前記行動変数の値と前記第１の値との差の絶対値が所定値以下の状況であり、
   前記第２の状況は、前回の前記行動変数の値と前記第１の値との差の絶対値が前記所定値を超える状況である請求項３記載の車両用制御装置。
5. 前記制限処理は、前記行動変数の前回の値を記憶する記憶処理と、前記行動変数の今回の値と前記行動変数の前回の値との差の絶対値が所定値以下となるように、前記今回の値を制限する処理と、を含む請求項４記載の車両用制御装置。
6. 前記関係規定データは、前記車両の状態を入力とし、前記行動変数の値の選択確率を出力とする関数近似器を規定するデータであり、
   前記更新写像は、前記関数近似器を規定するパラメータの更新量を出力する写像を含み、
   前記制限処理は、前記関数近似器の出力する選択確率が所定値未満となる前記行動変数の値に従った前記電子機器の操作を禁止する処理を含み、
   前記第１の状況は、前記第１の値の選択確率が前記所定値以上となる状況であり、
   前記第２の状況は、前記第１の値の選択確率が前記所定値未満となる状況である請求項３記載の車両用制御装置。
7. 前記制限処理は、前記関係規定データとともに前記行動変数の値を算出するための前記状態を示す変数の値の前回の値を記憶する記憶処理と、前記状態を示す変数の値の前回の値と今回の値との差の絶対値が規定値を超える場合、前記状態を示す変数の値を、前記前回の値との差の絶対値が前記規定値以下となるように補正する補正処理と、を含む請求項４記載の車両用制御装置。
8. 請求項１～７のいずれか１項に記載の前記実行装置および前記記憶装置を備え、
   前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、
   前記第２実行装置は、前記更新処理を少なくとも実行し、
   前記第１実行装置は、前記取得処理および前記操作処理を少なくとも実行する車両用制御システム。
9. 請求項８記載の前記第１実行装置を備える車両用制御装置。
10. 請求項８記載の前記第２実行装置を備える車両用学習装置。

Images