JP7287287B2 - 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 - Google Patents

Description

本発明は、車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置に関する。

たとえば下記特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。

特開２０１６－６３２７号公報

ところで、上記フィルタは、アクセルペダルの操作量に応じて車両に搭載される内燃機関のスロットルバルブの操作量を適切な操作量に設定するものである必要があることから、その適合には熟練者が多くの工数をかける必要が生じる。このように、従来は、車両の状態に応じた車両内の電子機器の操作量等の適合には、熟練者が多くの工数をかけていた。

以下、上記課題を解決するための手段およびその作用効果について記載する。
１．アクセル操作とは独立に推力生成装置による推力の指令値を自動で生成する自動運転モードと、前記アクセル操作に応じて前記推力生成装置による推力の指令値を生成する手動運転モードと、を実現可能な車両に適用され、前記車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶装置に記憶された状態で、センサの検出値に基づく前記車両の状態を取得する取得処理と、前記電子機器を操作する操作処理と、前記取得処理によって取得された前記車両の状態に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行装置に実行させ、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記報酬算出処理は、前記手動運転モードにおいて前記車両の特性が所定の特性であるときに与える前記報酬に対して前記自動運転モードにおいて前記車両の特性が前記所定の特性であるときに与える報酬を変更する変更処理を含む車両用制御データの生成方法である。

上記方法では、電子機器の操作に伴う報酬を算出することによって、当該操作によってどのような報酬が得られるかを把握することができる。そして、報酬に基づき、強化学習に従った更新写像によって関係規定データを更新することにより、車両の状態と行動変数との適切な関係を設定することができる。したがって、車両の状態と行動変数との適切な関係を設定する際、熟練者に要求される工数を削減できる。

ところで、自動運転モードと手動運転モードとでは、電子機器の操作に関連した要求要素が互いに相違しうる。そのため、それらに対して報酬算出処理による報酬の与え方が同じ場合には、自動運転モードと手動運転モードとのそれぞれの固有の要求を満たした適切な関係規定データを強化学習によって学習することが困難となるおそれがある。そこで上記方法では、変更処理によって、自動運転モードと手動運転モードとで報酬の与え方を変えることにより、自動運転モードと手動運転モードとのそれぞれの固有の要求を満たした適切な関係規定データを強化学習によって学習することが可能となる。

２．前記行動変数は、前記推力生成装置の操作に関する変数を含み、前記報酬算出処理は、前記推力の指令値に対する追従性に関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、前記車両の前後方向の加速度の絶対値に関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理と、を含み、前記変更処理は、前記手動運転モードの場合と比較して前記自動運転モードの場合に前記加速度の絶対値が小さい方がより大きい報酬をうるうえで有利となるように前記２つの処理のうちの少なくとも１つの処理を変更する処理を含む上記１記載の車両用制御データの生成方法である。

上記方法では、自動運転モードの方が手動運転モードと比較して、車両の加速度の絶対値がより小さい値となる場合に大きい報酬を与えることにより、車両の急激な加速を抑制した自動運転を可能とする関係規定データを強化学習によって学習できる。

３．前記更新処理によって更新された前記関係規定データに基づき、前記車両の状態と前記期待収益を最大化する前記行動変数の値とを対応付けることによって前記車両の状態を入力とし前記期待収益を最大化する前記行動変数の値を出力する制御用写像データを生成する処理を前記実行装置に実行させる上記１または２記載の車両用制御データの生成方法である。

上記方法では、強化学習によって学習された関係規定データに基づき、制御用写像データを生成する。そのため、その制御用写像データを制御装置に実装することにより、車両の状態に基づき、期待収益を最大化する行動変数の値を簡易に設定することが可能となる。

４．上記１または２記載の前記記憶装置および前記実行装置を備え、前記操作処理は、前記関係規定データに基づき前記取得処理によって取得された前記車両の状態に応じた前記行動変数の値に従って前記電子機器を操作する処理を含む車両用制御装置である。

上記構成では、強化学習によって学習された関係規定データに基づき行動変数の値が設定され、それに基づき電子機器が操作されることにより、期待収益を大きくするように電子機器を操作することができる。

５．上記４記載の前記実行装置および前記記憶装置を備え、前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システムである。

上記構成では、更新処理を第２実行装置によって実行することにより、更新処理を第１実行装置が実行する場合と比較して、第１実行装置の演算負荷を軽減できる。
なお、第２実行装置が車載装置とは別の装置であることは、第２実行装置が車載装置ではないことを意味する。

６．上記５記載の第１実行装置を備える車両用制御装置である。
７．上記５記載の第２実行装置を備える車両用学習装置である。

本実施形態にかかる制御装置および駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 同実施形態にかかるマップデータを生成するシステムを示す図。 同実施形態にかかるシステムが実行する処理の手順を示す流れ図。 同実施形態にかかる学習処理の詳細を示す流れ図。 同実施形態にかかるマップデータの生成処理の手順を示す流れ図。 第２の実施形態にかかる制御装置および駆動系を示す図。 同実施形態にかかる制御装置が実行する処理の手順を示す流れ図。 第３の実施形態にかかるシステムの構成を示す図。 （ａ）および（ｂ）は、同実施形態にかかるシステムが実行する処理の手順を示す流れ図。

以下、車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置にかかる実施形態について図面を参照しつつ説明する。
＜第１の実施形態＞
図１に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置の構成を示す。

図１に示すように、内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４および燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０およびピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。

クランク軸２８には、ロックアップクラッチ４２を備えたトルクコンバータ４０を介して、変速装置５０の入力軸５２が機械的に連結可能とされている。変速装置５０は、入力軸５２の回転速度と出力軸５４の回転速度との比である変速比を可変とする装置である。出力軸５４には、駆動輪６０が機械的に連結されている。

制御装置７０は、内燃機関１０を制御対象とし、その制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６および点火装置２６等の内燃機関１０の操作部を操作する。また、制御装置７０は、トルクコンバータ４０を制御対象とし、ロックアップクラッチ４２の係合状態を制御すべくロックアップクラッチ４２を操作する。また、制御装置７０は、変速装置５０を制御対象とし、その制御量としての変速比を制御すべく変速装置５０を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、点火装置２６、ロックアップクラッチ４２、および変速装置５０のそれぞれの操作信号ＭＳ１～ＭＳ５を記載している。

制御装置７０は、制御量の制御のために、エアフローメータ８０によって検出される吸入空気量Ｇａや、スロットルセンサ８２によって検出されるスロットルバルブ１４の開口度（スロットル開口度ＴＡ）、クランク角センサ８４の出力信号Ｓｃｒを参照する。また制御装置７０は、アクセルセンサ８８によって検出されるアクセルペダル８６の踏み込み量（アクセル操作量ＰＡ）や、加速度センサ９０によって検出される車両ＶＣ１の前後方向の加速度Ｇｘを参照する。また、制御装置７０は、指示スイッチ９２の操作によってユーザが手動運転モードと自動運転モードとのいずれを指示しているかを示すモード変数ＭＶおよび自動運転モードにおける目標車速Ｖ＊、レーダ装置９４による車両ＶＣ１の前方の状態信号を参照する。なお、指示スイッチ９２は、車両ＶＣ１のユーザが、手動運転モードと自動運転モードとのいずれかを指示したり、自動運転モードにおいて目標車速Ｖ＊を指示したりするためのヒューマンマシンインターフェースである。また、前方の状態信号は、前方の物体との距離や相対速度に関する情報を含んだ信号である。

制御装置７０は、ＣＰＵ７２、ＲＯＭ７４、電気的に書き換え可能な不揮発性メモリ（記憶装置７６）、および周辺回路７８を備え、それらがローカルネットワーク７９を介して通信可能とされている。ここで、周辺回路７８は、内部の動作を規定するクロック信号を生成する回路や、電源回路、リセット回路等を含む。

ＲＯＭ７４には、制御プログラム７４ａとアダプティブクルーズコントロールプログラム（ＡＣＣプログラム７４ｂ）とが記憶されている。ＡＣＣプログラム７４ｂは、レーダ装置９４による状態信号に基づき、前方車両との距離が所定値以上となることを優先しつつ、目標車速Ｖ＊となるように車両の走行をＣＰＵ７２が制御するための実行指令である。

一方、記憶装置７６には、スロットル開口度ＴＡの指令値であるスロットル開口度指令値ＴＡ＊および点火時期の遅角量ａｏｐを出力変数とするマップデータＤＭが記憶されている。ここで、遅角量ａｏｐは、予め定められた基準点火時期に対する遅角量であり、基準点火時期は、ＭＢＴ点火時期とノック限界点とのうちの遅角側の時期である。ＭＢＴ点火時期は、最大トルクの得られる点火時期（最大トルク点火時期）である。またノック限界点は、ノック限界の高い高オクタン価燃料の使用時に、想定される最良の条件下で、ノッキングを許容できるレベル以内に収めることのできる点火時期の進角限界値である。また、マップデータＤＭは、アクセル操作量ＰＡの時系列データを入力変数とする手動運転用マップデータＤＭ１と、内燃機関１０のトルクの指令値であるトルク指令値Ｔｒｑ＊の時系列データを入力変数とする自動運転用マップデータＤＭ２とを含む。なお、マップデータとは、入力変数の離散的な値と、入力変数の値のそれぞれに対応する出力変数の値と、の組データである。

図２に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図２に示す処理は、ＲＯＭ７４に記憶されたプログラムをＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって、各処理のステップ番号を表現する。

図２に示す一連の処理において、ＣＰＵ７２は、まず、モード変数ＭＶの値が手動運転モードであるか否かを判定する（Ｓ１０）。ＣＰＵ７２は、手動運転モードであると判定する場合（Ｓ１０：ＹＥＳ）、アクセル操作量ＰＡの６個のサンプリング値「ＰＡ（１），ＰＡ（２），…ＰＡ（６）」からなる時系列データを取得する（Ｓ１２）。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う６個のサンプリング値によって時系列データを構成する。

そして、ＣＰＵ７２は、手動運転用マップデータＤＭ１を用いてスロットル開口度指令値ＴＡ＊および遅角量ａｏｐをマップ演算する（Ｓ１４）。ここで、マップ演算は、たとえば、入力変数の値がマップデータの入力変数の値のいずれかに一致する場合、対応するマップデータの出力変数の値を演算結果とするのに対し、一致しない場合、マップデータに含まれる複数の出力変数の値の補間によって得られる値を演算結果とする処理とすればよい。

これに対しＣＰＵ７２は、自動運転モードであると判定する場合（Ｓ１０：ＮＯ）、トルク指令値Ｔｒｑ＊の６個のサンプリング値「Ｔｒｑ＊（１），Ｔｒｑ＊（２），…Ｔｒｑ＊（６）」からなる時系列データを取得する（Ｓ１６）。ここで、時系列データを構成する各サンプリング値は、互いに異なるタイミングにおいてサンプリングされたものである。本実施形態では、一定のサンプリング周期でサンプリングされる場合の、互いに時系列的に隣り合う６個のサンプリング値によって時系列データを構成する。ちなみに、トルク指令値Ｔｒｑ＊は、ＣＰＵ７２が、ＡＣＣプログラム７４ｂを実行することにより、レーダ装置９４の出力等に基づき算出するものである。

そして、ＣＰＵ７２は、自動運転用マップデータＤＭ２を用いてスロットル開口度指令値ＴＡ＊および遅角量ａｏｐをマップ演算する（Ｓ１８）。
ＣＰＵ７２は、Ｓ１４，Ｓ１８の処理が完了する場合、スロットルバルブ１４に操作信号ＭＳ１を出力してスロットル開口度ＴＡを操作するとともに、点火装置２６に操作信号ＭＳ３を出力して点火時期を操作する（Ｓ２０）。ここで、本実施形態では、スロットル開口度ＴＡをスロットル開口度指令値ＴＡ＊にフィードバック制御することを例示することから、スロットル開口度指令値ＴＡ＊が同一の値であっても、操作信号ＭＳ１が互いに異なる信号となりうるものである。また、たとえば周知のノッキングコントロール（ＫＣＳ）等がなされる場合、点火時期は、基準点火時期を遅角量ａｏｐにて遅角させた値がＫＣＳにてフィードバック補正された値とされる。ここで、基準点火時期は、ＣＰＵ７２により、クランク軸２８の回転速度ＮＥおよび充填効率ηに応じて可変設定される。なお、回転速度ＮＥは、クランク角センサ８４の出力信号Ｓｃｒに基づきＣＰＵ７２によって算出される。また、充填効率ηは、回転速度ＮＥおよび吸入空気量Ｇａに基づきＣＰＵ７２によって算出される。

なお、ＣＰＵ７２は、Ｓ２０の処理が完了する場合、図２に示す一連の処理を一旦終了する。
図３に、上記マップデータＤＭを生成するシステムを示す。

図３に示すように、本実施形態では、内燃機関１０のクランク軸２８にトルクコンバータ４０および変速装置５０を介してダイナモメータ１００を機械的に連結する。そして内燃機関１０を稼働させた際の様々な状態変数がセンサ群１０２によって検出され、検出結果が、マップデータＤＭを生成するコンピュータである生成装置１１０に入力される。なお、センサ群１０２には、図１に示した車両ＶＣ１に搭載されるセンサ等が含まれる。

生成装置１１０は、ＣＰＵ１１２、ＲＯＭ１１４、電気的に書き換え可能な不揮発性メモリ（記憶装置１１６）、および周辺回路１１８を備えており、それらがローカルネットワーク１１９によって通信可能とされたものである。ここで、記憶装置１１６には、状態変数としてのアクセル操作量ＰＡまたはトルク指令値Ｔｒｑ＊の時系列データと、行動変数としてのスロットル開口度指令値ＴＡ＊および遅角量ａｏｐとの関係を規定するデータである関係規定データＤＲが記憶されている。関係規定データＤＲは、アクセル操作量ＰＡの時系列データを状態変数とする手動運転用規定データＤＲ１と、トルク指令値Ｔｒｑ＊の時系列データを状態変数とする自動運転用規定データＤＲ２と、を含む。また、ＲＯＭ１１４には、強化学習によって、関係規定データＤＲを学習する学習プログラム１１４ａが記憶されている。

図４に、生成装置１１０が実行する処理の手順を示す。図４に示す処理は、ＲＯＭ１１４に記憶された学習プログラム１１４ａを、ＣＰＵ１１２が実行することにより実現される。

図４に示す一連の処理において、ＣＰＵ１１２は、まず、手動運転モードまたは自動運転モードを選択する（Ｓ３０）。次にＣＰＵ１１２は、選択されているモードが手動運転モードであるか否かを判定する（Ｓ３２）。そしてＣＰＵ１１２は、手動運転モードであると判定する場合（Ｓ３２：ＹＥＳ）、内燃機関１０を稼働させた状態において、状態ｓとして、アクセル操作量ＰＡの時系列データを取得する（Ｓ３４）。ここでの時系列データは、Ｓ１２の処理におけるものと同様のデータである。ただし、図３に示すシステムにおいては、アクセルペダル８６は存在しない。そのため、アクセル操作量ＰＡを、生成装置１１０が車両ＶＣ１の状態を模擬することによって疑似的に生成されたものとし、疑似的に生成されたアクセル操作量ＰＡを、センサの検出値に基づく車両の状態とみなす。

次にＣＰＵ１１２は、手動運転用規定データＤＲ１が定める方策πに従い、Ｓ３４の処理によって取得した状態ｓに応じたスロットル開口度指令値ＴＡ＊および遅角量ａｏｐからなる行動ａを設定する（Ｓ３６）。

本実施形態において、手動運転用規定データＤＲ１は、行動価値関数Ｑおよび方策πを定めるデータである。本実施形態において、行動価値関数Ｑは、状態ｓおよび行動ａの８次元の独立変数に応じた期待収益の値を示すテーブル型式の関数である。また、方策πは、状態ｓが与えられたときに、独立変数が与えられた状態ｓとなる行動価値関数Ｑのうち最大となる行動ａ（グリーディ行動）を優先的に選択しつつも、所定の確率で、それ以外の行動ａを選択する規則を定める。

詳しくは、本実施形態にかかる行動価値関数Ｑの独立変数がとりうる値の数は、状態ｓおよび行動ａのとりうる値の全組み合わせの一部が、人の知見等によって削減されたものである。すなわち、たとえばアクセル操作量ＰＡの時系列データのうち隣接する２つのサンプリング値の１つがアクセル操作量ＰＡの最小値となりもう１つが最大値となるようなことは、人によるアクセルペダル８６の操作からは生じえないとして、行動価値関数Ｑが定義されていない。本実施形態では、人の知見等に基づく次元削減によって、行動価値関数Ｑを定義する状態ｓの取りうる値を、１０の４乗個以下、より望ましくは１０の３乗個以下に制限する。

次にＣＰＵ１１２は、設定されたスロットル開口度指令値ＴＡ＊および遅角量ａｏｐに基づき、Ｓ２０の処理と同様にして操作信号ＭＳ１，ＭＳ３を出力する（Ｓ３８）。次にＣＰＵ１１２は、内燃機関１０のトルクＴｒｑ、内燃機関１０に対するトルク指令値Ｔｒｑ＊、および加速度Ｇｘを取得する（Ｓ４０）。ここで、ＣＰＵ１１２は、トルクＴｒｑを、ダイナモメータ１００が生成する負荷トルクと変速装置５０の変速比とに基づき算出する。また、トルク指令値Ｔｒｑ＊は、アクセル操作量ＰＡに応じて設定される。また、ＣＰＵ１１２は、加速度Ｇｘを、ダイナモメータ１００の負荷トルク等に基づき、仮に内燃機関１０等が車両に搭載されていた場合に車両に生じると想定される値として算出する。すなわち、本実施形態においては、加速度Ｇｘについても仮想的なものであるが、この加速度Ｇｘについても、車両の状態の検出値であるとみなす。

次にＣＰＵ７２は、過渡フラグＦが「１」であるか否かを判定する（Ｓ４２）。過渡フラグＦは、「１」である場合に過渡運転時であることを示し、「０」である場合に過渡運転時ではないことを示す。ＣＰＵ１１２は、過渡フラグＦが「０」であると判定する場合（Ｓ４２：ＮＯ）、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈ以上であるか否かを判定する（Ｓ４４）。ここで、変化量ΔＰＡは、たとえば、Ｓ４２の処理の実行タイミングにおける最新のアクセル操作量ＰＡと、同タイミングに対して単位時間だけ前におけるアクセル操作量ＰＡとの差とすればよい。

ＣＰＵ１１２は、所定量ΔＰＡｔｈ以上であると判定する場合（Ｓ４４：ＹＥＳ）、過渡フラグＦに「１」を代入する（Ｓ４６）一方、所定量ΔＰＡｔｈ未満であると判定する場合（Ｓ４４：ＮＯ）、Ｓ３２の処理に戻る。

これに対し、ＣＰＵ１１２は、過渡フラグＦが「１」であると判定する場合（Ｓ４２：ＹＥＳ）、Ｓ４６の処理がなされてから所定期間が経過したか否かを判定する（Ｓ４８）。ここで、所定期間は、アクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡの絶対値が所定量ΔＰＡｔｈよりも小さい規定量以下となる状態が所定時間継続するまでの期間とする。ＣＰＵ１１２は、所定期間が経過したと判定する場合（Ｓ４８：ＹＥＳ）、過渡フラグＦに「０」を代入する（Ｓ５０）一方、所定期間が経過していないと判定する場合（Ｓ４８：ＮＯ）、Ｓ３２の処理に戻る。

ＣＰＵ１１２は、Ｓ４６，Ｓ５０の処理が完了する場合、１つのエピソードが終了したとして、強化学習によって行動価値関数Ｑを更新する（Ｓ５２）。
図５に、Ｓ５２の処理の詳細を示す。

図５に示す一連の処理において、ＣＰＵ１１２は、直近に終了されたエピソード中のトルク指令値Ｔｒｑ＊、トルクＴｒｑおよび加速度Ｇｘの３つのサンプリング値の組からなる時系列データと、状態ｓおよび行動ａの時系列データと、を取得する（Ｓ６０）。ここで、直近のエピソードは、Ｓ４６の処理に続いてＳ６０の処理がなされる場合には、過渡フラグＦが継続して「０」となっていた期間であり、Ｓ５０の処理に続いてＳ６０の処理がなされる場合には、過渡フラグＦが継続して「１」となっていた期間である。

図５には、カッコの中の数字が異なるものが、異なるサンプリングタイミングにおける変数の値であることを示す。たとえば、トルク指令値Ｔｒｑ＊（１）とトルク指令値Ｔｒｑ＊（２）とは、サンプリングタイミングが互いに異なるものである。また、直近のエピソードに属する行動ａの時系列データを、行動集合Ａｊとし、同エピソードに属する状態ｓの時系列データを、状態集合Ｓｊと定義する。

次にＣＰＵ１１２は、直近のエピソードに属する任意のトルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が規定量ΔＴｒｑ以下である旨の条件（ア）と、加速度Ｇｘが下限値ＧｘＬ以上であって上限値ＧｘＨ以下である旨の条件（イ）との論理積が真であるか否かを判定する（Ｓ６２）。

ここで、ＣＰＵ１１２は、規定量ΔＴｒｑを、手動運転モードの場合、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって可変設定する。すなわち、ＣＰＵ１１２は、変化量ΔＰＡの絶対値が大きい場合には過渡時に関するエピソードであるとして、定常時である場合と比較して、規定量ΔＴｒｑを大きい値に設定する。また、ＣＰＵ１１２は、自動運転モードの場合には、エピソードの開始時におけるトルク指令値Ｔｒｑ＊の単位時間当たりの変化量ΔＴｒｑ＊によって規定量ΔＴｒｑを可変設定する。すなわち、ＣＰＵ１１２は、変化量ΔＴｒｑ＊の絶対値が大きい場合には過渡時に関するエピソードであるとして、定常時である場合と比較して、規定量ΔＴｒｑを大きい値に設定する。また、ＣＰＵ１１２は、手動運転モードの場合、自動運転モードの場合と比較して、規定量ΔＴｒｑを小さい値に設定する。

また、ＣＰＵ１１２は、手動運転モードの場合、下限値ＧｘＬを、エピソードの開始時におけるアクセル操作量ＰＡの変化量ΔＰＡによって可変設定し、自動運転モードの場合、下限値ＧｘＬを，エピソードの開始時におけるトルク指令値Ｔｒｑ＊の変化量ΔＴｒｑ＊によって可変設定する。すなわち、ＣＰＵ１１２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを大きい値に設定する。また、ＣＰＵ１１２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、下限値ＧｘＬを小さい値に設定する。

また、ＣＰＵ７２は、手動運転モードの場合、上限値ＧｘＨを、エピソードの開始時におけるアクセル操作量ＰＡの単位時間当たりの変化量ΔＰＡによって可変設定し、自動運転モードの場合、上限値ＧｘＨを，エピソードの開始時におけるトルク指令値Ｔｒｑ＊の変化量ΔＴｒｑ＊によって可変設定する。すなわち、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが正である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを大きい値に設定する。また、ＣＰＵ７２は、過渡時に関するエピソードであって且つ変化量ΔＰＡが負である場合には、定常時に関するエピソードの場合と比較して、上限値ＧｘＨを小さい値に設定する。

また、ＣＰＵ７２は、モード変数ＭＶの値に応じて上限値ＧｘＨおよび下限値ＧｘＬを可変設定する。詳しくは、ＣＰＵ１１２は、手動運転モードの場合、自動運転モードの場合と比較して、過渡時における加速度Ｇｘの絶対値としてより大きい値を許容するように上限値ＧｘＨおよび下限値ＧｘＬを設定する。

ＣＰＵ７２は、論理積が真であると判定する場合（Ｓ６２：ＹＥＳ）、報酬ｒに「１０」を代入する一方（Ｓ６４）、偽であると判定する場合（Ｓ６２：ＮＯ）、報酬ｒに「－１０」を代入する（Ｓ６６）。Ｓ６２～Ｓ６６の処理は、ドライバビリティに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理である。ＣＰＵ１１２は、Ｓ６４，Ｓ６６の処理が完了する場合、図３に示した記憶装置７６に記憶されている関係規定データＤＲを更新する。本実施形態では、εソフト方策オン型モンテカルロ法を用いる。

すなわち、ＣＰＵ１１２は、上記Ｓ６０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）に、それぞれ、報酬ｒを加算する（Ｓ６８）。ここで、「Ｒ（Ｓｊ，Ａｊ）」は、状態集合Ｓｊの要素の１つを状態とし行動集合Ａｊの要素の１つを行動とする収益Ｒを総括した記載である。次に、上記Ｓ６０の処理によって読み出した各状態と対応する行動との組によって定まる収益Ｒ（Ｓｊ，Ａｊ）のそれぞれについて、平均化して対応する行動価値関数Ｑ（Ｓｊ，Ａｊ）に代入する（Ｓ７０）。ここで、平均化は、Ｓ６８の処理がなされた回数によって、Ｓ６８の処理によって算出された収益Ｒを除算する処理とすればよい。なお、収益Ｒの初期値は、ゼロとすればよい。

次にＣＰＵ１１２は、上記Ｓ６０の処理によって読み出した状態について、それぞれ、対応する行動価値関数Ｑ（Ｓｊ，Ａ）のうち、最大値となるときのスロットル開口度指令値ＴＡ＊および遅角量ａｏｐの組である行動を、行動Ａｊ＊に代入する（Ｓ７２）。ここで、「Ａ」は、とりうる任意の行動を示す。なお、行動Ａｊ＊は、上記Ｓ６０の処理によって読み出した状態の種類に応じて各別の値となるものであるが、ここでは、表記を簡素化して、同一の記号にて記載している。

次に、ＣＰＵ１１２は、上記Ｓ６０の処理によって読み出した状態のそれぞれについて、対応する方策π（Ａｊ｜Ｓｊ）を更新する（Ｓ７４）。すなわち、行動の総数を、「｜Ａ｜」とすると、Ｓ７２によって選択された行動Ａｊ＊の選択確率を、「（１－ε）＋ε／｜Ａ｜」とする。また、行動Ａｊ＊以外の「｜Ａ｜－１」個の行動の選択確率を、それぞれ「ε／｜Ａ｜」とする。Ｓ７４の処理は、Ｓ７０の処理によって更新された行動価値関数Ｑに基づく処理であることから、これにより、状態ｓと行動ａとの関係を規定する関係規定データＤＲが、収益Ｒを増加させるように更新されることとなる。

なお、ＣＰＵ１１２は、Ｓ７４の処理が完了する場合、図５に示す一連の処理を一旦終了する。
図４に戻り、ＣＰＵ１１２は、Ｓ５２の処理が完了すると、行動価値関数Ｑが収束したか否かを判定する（Ｓ５４）。ここでは、Ｓ５２の処理による行動価値関数Ｑの更新量が所定値以下となる連続回数が所定回数に達する場合に収束したと判定すればよい。ＣＰＵ１１２は、収束していないと判定する場合（Ｓ５４：ＮＯ）、Ｓ３２の処理に戻る。これに対し、ＣＰＵ１１２は、収束したと判定する場合（Ｓ５４：ＹＥＳ）、手動運転モードと自動運転モードとの双方についてＳ５４の処理において肯定判定したか否かを判定する（Ｓ５６）。

ＣＰＵ１１２は、未だいずれか一方のモードについてはＳ５４の処理において肯定判定していないと判定する場合（Ｓ５６：ＮＯ）、Ｓ３０の処理に戻ってそのモードを選択する。また、ＣＰＵ１１２は、Ｓ３２の処理において否定判定する場合、状態ｓとして、トルク指令値Ｔｒｑ＊（１），Ｔｒｑ＊（２），…，Ｔｒｑ＊（６）を設定して（Ｓ５８）、Ｓ３６～Ｓ５４の処理を繰り返す。ただし、Ｓ３６の処理においては、自動運転用規定データＤＲ２を用いる。自動運転用規定データＤＲ２は、行動価値関数Ｑの独立変数としての状態ｓが手動運転用規定データＤＲ１と異なることを除き、手動運転用規定データＤＲ１と同様のデータである。また、Ｓ４０の処理において取得されるトルク指令値Ｔｒｑ＊は、Ｓ５８の処理において設定した値のうちの最新の値とする。なお、ここで利用されるトルク指令値Ｔｒｑ＊（１），Ｔｒｑ＊（２），…，Ｔｒｑ＊（６）は、車両内でレーダ装置９４の出力に基づきＡＣＣプログラム７４ｂに規定された指令が実行されることで生成される値を生成装置１１０によって模擬したものである。そのため、本実施形態では、ここで利用されるトルク指令値Ｔｒｑ＊（１），Ｔｒｑ＊（２），…，Ｔｒｑ＊（６）を、センサの検出値に基づく車両の状態であるとみなす。

ＣＰＵ１１２は、Ｓ５６の処理において肯定判定する場合、図４に示す一連の処理を一旦終了する。
図６に、生成装置１１０が実行する処理のうち、特に図４の処理によって学習された行動価値関数Ｑに基づき、マップデータＤＭを生成する処理の手順を示す。図６に示す処理は、ＲＯＭ１１４に記憶された学習プログラム１１４ａを、ＣＰＵ１１２が実行することにより実現される。

図６に示す一連の処理において、ＣＰＵ１１２は、まず、手動選択モードと自動運転モードとのいずれかを設定する（Ｓ８０）。そして、ＣＰＵ１１２は、手動運転用マップデータＤＭ１および自動運転用マップデータＤＭ２のうち、Ｓ８０の処理によって設定されたモードに対応する方の入力変数の値となる複数の状態ｓの中の１つを選択する（Ｓ８２）。次に、ＣＰＵ１１２は、手動運転用規定データＤＲ１および自動運転用規定データＤＲ２のうちのＳ８０の処理によって設定されたモードに対応するデータによって規定されて且つ状態ｓに対応する行動価値関数Ｑ（ｓ，Ａ）のうち、行動価値関数Ｑの値を最大とする行動ａを選択する（Ｓ８４）。すなわち、ここでは、グリーディ方策によって行動ａを選択する。次に、ＣＰＵ１１２は、状態ｓと行動ａとの組を記憶装置１１６に記憶させる（Ｓ８６）。

次にＣＰＵ１１２は、手動運転用マップデータＤＭ１および自動運転用マップデータＤＭ２のうちＳ８０の処理によって設定されたモードに対応する方の入力変数の値とするもの全てがＳ８２の処理によって選択されたか否かを判定する（Ｓ８８）。そして、ＣＰＵ１１２は、選択されていないものがあると判定する場合（Ｓ８８：ＮＯ）、Ｓ８２の処理に戻る。これに対し、ＣＰＵ１１２は、全てが選択されたと判定する場合（Ｓ８８：ＹＥＳ）、Ｓ８０の処理によって手動運転モードと自動運転モードとの双方が設定されたか否かを判定する（Ｓ９０）。ＣＰＵ１１２は、未だ設定されていないモードがあると判定する場合（Ｓ９０：ＮＯ）、Ｓ８０の処理に戻ってそのモードを設定する。

これに対し、ＣＰＵ１１２は、全てのモードを設定済みと判定する場合（Ｓ９０：ＹＥＳ）、手動運転用マップデータＤＭ１および自動運転用マップデータＤＭ２を生成する（Ｓ９２）。ここでは、マップデータＤＭの入力変数の値が状態ｓであるものに対応する出力変数の値を、対応する行動ａとする。

なお、ＣＰＵ１１２は、Ｓ９２の処理が完了する場合、図６に示す一連の処理を一旦終了する。
ここで、本実施形態の作用および効果について説明する。

図３に示すシステムにおいて、ＣＰＵ１１２は、強化学習によって、行動価値関数Ｑを学習する。そして、行動価値関数Ｑの値が収束する場合、ドライバビリティに関して要求された基準を満たすうえで適切な行動が学習されたとする。そして、ＣＰＵ１１２は、マップデータＤＭの入力変数となる状態のそれぞれについて、行動価値関数Ｑを最大化する行動を選択し、状態と行動との組を記憶装置１１６に記憶する。次に、ＣＰＵ１１２は、記憶装置１１６に記憶された状態と行動との組に基づき、マップデータＤＭを生成する。これにより、アクセル操作量ＰＡやトルク指令値Ｔｒｑ＊に応じた適切なスロットル開口度指令値ＴＡ＊および遅角量ａｏｐを、熟練者による工数を過度に大きくすることなく設定することができる。

特に、本実施形態では、手動運転モードと自動運転モードとで、状態ｓに応じた行動ａを各別に学習した。詳しくは、手動運転モードの方が自動運転モードよりも車両の推力の指令値に対する追従性を高める基準を設ける一方、自動運転モードの方が手動運転モードよりも車両に生じる前後方向の加速度の大きさがより小さい旨の基準を設けて報酬を与えた。これにより、手動運転用マップデータＤＭ１を、ユーザのアクセル操作に対する応答性が良好な制御を可能とするデータとすることができ、自動運転用マップデータＤＭ２を、ユーザが急加速を体感することを抑制する制御を可能とするデータとすることができる。したがって、ＡＣＣプログラム７４ｂの実行によって生成されるトルク指令値Ｔｒｑ＊を、ユーザの体感する加速度までをも考慮して適合する手間が省ける。

以上説明した本実施形態によれば、さらに以下に記載する作用および効果が得られる。
（１）制御装置７０が備える記憶装置７６に、行動価値関数Ｑ等ではなく、マップデータＤＭを記憶した。これにより、ＣＰＵ７２は、マップデータＤＭを用いたマップ演算に基づき、スロットル開口度指令値ＴＡ＊および遅角量ａｏｐを設定することから、行動価値関数Ｑのうち最大値となるものを選択する処理を実行する場合と比較して、演算負荷を軽減できる。

（２）行動価値関数Ｑの独立変数にアクセル操作量ＰＡの時系列データを含めた。これにより、アクセル操作量ＰＡに関して単一のサンプリング値のみを独立変数とする場合と比較して、アクセル操作量ＰＡの様々な変化に対して行動ａの値をきめ細かく調整できる。

（３）行動価値関数Ｑの独立変数に、スロットル開口度指令値ＴＡ＊自体を含めた。これにより、たとえば、スロットル開口度指令値ＴＡ＊の挙動をモデル化したモデル式のパラメータ等をスロットル開口度に関する独立変数とする場合と比較して、強化学習による探索の自由度を高めることが容易である。

＜第２の実施形態＞
以下、第２の実施形態について、第１の実施形態との相違点を中心に図面を参照しつつ説明する。

図７に、本実施形態にかかる車両ＶＣ１の駆動系および制御装置を示す。なお、図７において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図７に示すように、本実施形態では、ＲＯＭ７４に、制御プログラム７４ａおよびＡＣＣプログラム７４ｂに加えて、学習プログラム７４ｃが記憶されている。また、記憶装置７６に、マップデータＤＭが記憶されておらず、代わりに、関係規定データＤＲが記憶され、また、トルク出力写像データＤＴが記憶されている。ここで、関係規定データＤＲは、図４の処理によって学習された学習済みのデータであり、状態ｓをアクセル操作量ＰＡの時系列データとする行動価値関数を含んだ手動運転用規定データＤＲ１と、状態ｓをトルク指令値Ｔｒｑ＊の時系列データとする行動価値関数を含んだ自動運転用規定データＤＲ２とを含む。また、トルク出力写像データＤＴによって規定されるトルク出力写像は、回転速度ＮＥ、充填効率η、および点火時期を入力とし、トルクＴｒｑを出力するニューラルネットワーク等の学習済みモデルに関するデータである。なお、上記トルク出力写像データＤＴは、たとえば図４の処理を実行する際、Ｓ４０の処理によって取得されるトルクＴｒｑを教師データとして学習されたものとすればよい。

図８に、本実施形態にかかる制御装置７０が実行する処理の手順を示す。図８に示す処理は、ＲＯＭ７４に記憶された制御プログラム７４ａおよび学習プログラム７４ｃを、ＣＰＵ７２がたとえば所定周期で繰り返し実行することにより実現される。なお、図８において、図４に示した処理に対応する処理については、便宜上同一のステップ番号を付与する。

図８に示す一連の処理において、ＣＰＵ７２は、まず図２のＳ１０，Ｓ１２，Ｓ１６の処理を実行した後、図４のＳ３６～Ｓ５２の処理を実行する。なお、ＣＰＵ７２は、Ｓ４４，Ｓ４８の処理において否定判定する場合や、Ｓ５２の処理を完了する場合には、図８に示す一連の処理を一旦終了する。ちなみに、Ｓ１０，Ｓ１２，Ｓ１６，Ｓ３６～５０の処理は、ＣＰＵ７２が制御プログラム７４ａを実行することにより実現され、Ｓ５２の処理は、ＣＰＵ７２が学習プログラム７４ｃを実行することにより実現される。

このように、本実施形態によれば、制御装置７０に関係規定データＤＲおよび学習プログラム７４ｃを実装することにより、第１の実施形態の場合と比較して、学習頻度を向上させることができる。

＜第３の実施形態＞
以下、第３の実施形態について、第２の実施形態との相違点を中心に図面を参照しつつ説明する。

本実施形態では、関係規定データＤＲの更新を、車両ＶＣ１の外で実行する。
図９に、本実施形態において、強化学習を実行する制御システムの構成を示す。なお、図９において、図１に示した部材に対応する部材については、便宜上、同一の符号を付している。

図９に示す車両ＶＣ１内の制御装置７０におけるＲＯＭ７４は、制御プログラム７４ａおよびＡＣＣプログラム７４ｂを記憶しているものの、学習プログラム７４ｃを記憶していない。また、制御装置７０は、通信機７７を備えている。通信機７７は車両ＶＣ１の外部のネットワーク１２０を介してデータ解析センター１３０と通信するための機器である。

データ解析センター１３０は、複数の車両ＶＣ１，ＶＣ２，…から送信されるデータを解析する。データ解析センター１３０は、ＣＰＵ１３２、ＲＯＭ１３４、電気的に書き換え可能な不揮発性メモリ（記憶装置１３６）、周辺回路１３８および通信機１３７を備えており、それらがローカルネットワーク１３９によって通信可能とされるものである。ＲＯＭ１３４には、学習プログラム７４ｃが記憶されており、記憶装置１３６には、関係規定データＤＲが記憶されている。

図１０に、本実施形態にかかる強化学習の処理手順を示す。図１０（ａ）に示す処理は、図９に示すＲＯＭ７４に記憶されている制御プログラム７４ａをＣＰＵ７２が実行することにより実現される。また、図１０（ｂ）に示す処理は、ＲＯＭ１３４に記憶されている学習プログラム７４ｃをＣＰＵ１３２が実行することにより実現される。なお、図１０において図８に示した処理に対応する処理については、便宜上同一のステップ番号を付している。以下では、強化学習の時系列に沿って、図１０に示す処理を説明する。

図１０（ａ）に示す一連の処理において、ＣＰＵ７２は、Ｓ１０，Ｓ１２，Ｓ１６，Ｓ３６～Ｓ５０の処理を実行した後、通信機７７を操作することによって、関係規定データＤＲの更新処理に必要なデータを送信する（Ｓ１００）。ここで、送信対象とされるデータは、Ｓ４６，Ｓ５０の処理の実行直前に終了したエピソードにおけるモード変数ＭＶの値や、トルク指令値Ｔｒｑ＊、トルクＴｒｑおよび加速度Ｇｘの時系列データ、状態集合Ｓｊおよび行動集合Ａｊを含む。

これに対し、図１０（ｂ）に示すように、ＣＰＵ１３２は、送信されたデータを受信し（Ｓ１１０）、受信したデータに基づき関係規定データＤＲを更新する（Ｓ５２）。そしてＣＰＵ１３２は、関係規定データＤＲの更新回数が所定回数以上であるか否かを判定し（Ｓ１１２）、所定回数以上であると判定する場合（Ｓ１１２：ＹＥＳ）、通信機１３７を操作して、Ｓ１１０の処理によって受信したデータを送信した車両ＶＣ１に関係規定データＤＲを送信する（Ｓ１１４）。なお、ＣＰＵ１３２は、Ｓ１１４の処理を完了する場合や、Ｓ１１２の処理において否定判定する場合には、図１０（ｂ）に示す一連の処理を一旦終了する。

これに対し、図１０（ａ）に示すように、ＣＰＵ７２は、更新データがあるか否かを判定し（Ｓ１０２）、あると判定する場合（Ｓ１０２：ＹＥＳ）、更新された関係規定データＤＲを受信する（Ｓ１０４）。そしてＣＰＵは、Ｓ３６の処理において利用する関係規定データＤＲを、受信した関係規定データＤＲに書き換える（Ｓ１０６）。なお、ＣＰＵ７２は、Ｓ１０６の処理を完了する場合や、Ｓ４４，Ｓ４８，Ｓ１０２の処理において否定判定する場合には、図１０（ａ）に示す一連の処理を一旦終了する。

このように、本実施形態によれば、関係規定データＤＲの更新処理を車両ＶＣ１の外部で行うことから、制御装置７０の演算負荷を軽減できる。さらに、たとえばＳ１１０の処理において、複数の車両ＶＣ１，ＶＣ２からのデータを受信してＳ５２の処理を行うなら、学習に用いるデータ数を容易に大きくすることができる。

＜対応関係＞
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。［１，２］推力生成装置は、内燃機関１０に対応する。実行装置と記憶装置とは、図７においては、それぞれ、ＣＰＵ７２およびＲＯＭ７４と記憶装置７６とに対応し、図３においては、それぞれＣＰＵ１１２およびＲＯＭ１１４と記憶装置１１６とに対応し、図９においては、ＣＰＵ７２，１３２およびＲＯＭ７４，１３４と記憶装置７６，１３６とに対応する。操作処理は、Ｓ３８の処理に対応し、取得処理は、Ｓ１２，Ｓ１６，Ｓ３４，Ｓ４０，Ｓ５８の処理に対応する。報酬算出処理は、Ｓ６２～Ｓ６６の処理に対応する。更新処理は、Ｓ６８～Ｓ７４の処理に対応する。更新写像は、学習プログラム７４ｃによるＳ６８～Ｓ７４の処理の実行指令によって規定される写像に対応する。変更処理は、Ｓ６２の処理において規定量ΔＴｒｑ、下限値ＧｘＬおよび上限値ＧｘＨがモード変数ＭＶに応じて可変とされることに対応する。［３］制御用写像データは、マップデータＤＭに対応する。［４］車両用制御装置は、図７に示す制御装置７０に対応する。実行装置と記憶装置とは、それぞれ、図７におけるＣＰＵ７２およびＲＯＭ７４と記憶装置７６とに対応する。［５～７］第１実行装置は、図９のＣＰＵ７２およびＲＯＭ７４に対応し、第２実行装置は、図９のＣＰＵ１３２およびＲＯＭ１３４に対応する。

＜その他の実施形態＞
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。

「自動運転モードについて」
・自動運転モードとしては、ＡＣＣに限らない。たとえば操舵系についても自動化した自動運転であってもよい。

「行動変数について」
・上記実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値ＴＡ＊を例示したが、これに限らない。たとえば、アクセル操作量ＰＡに対するスロットル開口度指令値ＴＡ＊の応答性を、無駄時間および２次遅れフィルタにて表現し、無駄時間と、２次遅れフィルタを規定する２つの変数との合計３つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量ＰＡの時系列データに代えて、アクセル操作量ＰＡの単位時間当たりの変化量とすることが望ましい。

・上記実施形態では、行動変数としての点火時期に関する変数として、遅角量ａｏｐを例示したが、これに限らない。たとえば、ＫＣＳによる補正対象とされる点火時期自体であってもよい。

・上記実施形態では、行動変数として、スロットルバルブの開口度に関する変数および点火時期に関する変数を例示したが、これに限らない。たとえば、下記「電子機器について」の欄に記載したように、燃料噴射弁１６を行動変数に応じた操作対象とする場合、スロットルバルブの開口度に関する変数および点火時期に関する変数に加えて、燃料噴射量を用いてもよい。また、それら３つに関しては、行動変数としてスロットルバルブの開口度に関する変数および燃料噴射量のみを採用したり、点火時期に関する変数および燃料噴射量のみを採用したりしてもよい。さらに、それら３つに関しては、行動変数としてそれらのうちの１つのみを採用してもよい。

・「内燃機関について」の欄に記載したように、圧縮着火式の内燃機関の場合、スロットルバルブの開口度に関する変数に代えて噴射量に関する変数を用い、点火時期に関する変数に代えて噴射時期に関する変数を用いればよい。なお、噴射時期に関する変数に加えて、１燃焼サイクルにおける噴射回数に関する変数や、１燃焼サイクルにおける１つの気筒のための時系列的に隣接した２つの燃料噴射のうちの一方の終了タイミングと他方の開始タイミングとの間の時間間隔に関する変数を加えることが望ましい。

・下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象に回転電機が含まれる場合、行動変数に回転電機のトルクや電流を含めればよい。すなわち、推力生成装置の負荷に関する変数である負荷変数としては、スロットルバルブの開口度に関する変数や噴射量に限らず、回転電機のトルクや電流であってもよい。

・行動変数としては、推力生成装置の操作に関する変数に限らない。たとえば下記「電子機器について」の欄に記載したように、行動変数に応じた操作の対象とされる電子機器が変速装置を含む場合、変速装置の変速比であってもよい。また、たとえば変速装置５０が有段変速装置の場合、クラッチの係合状態を油圧によって調整するためのソレノイドバルブの電流値等を行動変数としてもよい。

「状態について」
・上記実施形態では、アクセル操作量ＰＡの時系列データを、等間隔でサンプリングされた６個の値からなるデータとしたが、これに限らない。互いに異なるサンプリングタイミングにおける２個以上のサンプリング値からなるデータであればよく、この際、３個以上のサンプリング値からなるデータや、サンプリング間隔が等間隔であるデータであることがより望ましい。

・アクセル操作量に関する状態変数としては、アクセル操作量ＰＡの時系列データに限らず、たとえば「行動変数について」の欄に記載したように、アクセル操作量ＰＡの単位時間当たりの変化量等であってもよい。

・上記実施形態では、手動運転用規定データＤＲ１が定める行動価値関数の独立変数としての推力生成装置の負荷の指令値に関する変数としてアクセル操作量ＰＡを例示したが、これに限らず、たとえばトルク指令値Ｔｒｑ＊であってもよい。

・たとえば「行動変数について」の欄に記載したように、ソレノイドバルブの電流値を行動変数とする場合、状態に、変速装置の入力軸５２の回転速度や出力軸５４の回転速度、ソレノイドバルブによって調整される油圧を含めればよい。またたとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、状態に、バッテリの充電率や温度を含めてもよい。

「テーブル形式のデータの次元削減について」
・テーブル形式のデータの次元削減手法としては、上記実施形態において例示したものに限らない。たとえばアクセル操作量ＰＡが最大値となることはまれであることから、アクセル操作量ＰＡが規定量以上となる状態については行動価値関数Ｑを定義せず、アクセル操作量ＰＡが規定量以上となる場合のスロットル開口度指令値ＴＡ＊等は、別途適合してもよい。またたとえば、行動のとりうる値からスロットル開口度指令値ＴＡ＊が規定値以上となるものを除くなどして、次元削減をしてもよい。

「関係規定データについて」
・上記実施形態では、行動価値関数Ｑを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。

・たとえば、行動価値関数Ｑを用いる代わりに、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器にて表現し、関数近似器を定めるパラメータを、報酬ｒに応じて更新してもよい。その場合、手動運転モード用の関数近似器と、自動運転モード用の関数近似器を設けてもよいが、これに限らず、単一の関数近似器の入力にモード変数ＭＶを含めてもよい。ただし、その場合、手動運転モードと自動運転モードとで、状態ｓとしての推力生成装置の負荷の指令値を示す変数を、トルク指令値Ｔｒｑ＊等に統一する。

「操作処理について」
・たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、それぞれ状態ｓとともに行動価値関数Ｑに入力することによって、行動価値関数Ｑを最大化する行動ａを特定すればよい。そして、これに基づき操作に採用する行動を選択すればよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを、状態ｓおよび行動ａを独立変数とし、行動ａをとる確率を従属変数とする関数近似器とする場合、方策πによって示される確率に基づき行動ａを選択すればよい。

「更新写像について」
・Ｓ６８～Ｓ７４の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型ＴＤ法を用いたり、またたとえばＳＡＲＳＡ法のように方策オン型ＴＤ法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。

・たとえば「関係規定データについて」の欄に記載したように、方策πを関数近似器を用いて表現し、これを報酬ｒに基づき直接更新する場合には、方策勾配法等を用いて更新写像を構成すればよい。

・行動価値関数Ｑと方策πとのうちのいずれか一方のみを、報酬ｒによる直接の更新対象とするものに限らない。たとえば、アクター・クリティック法のように、行動価値関数Ｑおよび方策πをそれぞれ更新してもよい。また、アクター・クリティック法においては、これに限らず、たとえば行動価値関数Ｑに代えて価値関数Ｖを更新対象としてもよい。

・方策πを定める「ε」については、固定値に限らず、学習の進行度合いに応じて予め定められた規則に応じて変更してもよい。
「報酬算出処理について」
・上記実施形態では、条件（ア）および条件（イ）の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件（ア）を満たすか否かに応じて報酬を与える処理と、条件（イ）を満たすか否かに応じて報酬を与える処理と、を実行してもよい。

・たとえば条件（ア）を満たす場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が小さい場合に大きい場合よりもより大きい報酬を与える処理としてもよい。またたとえば、条件（ア）を満たさない場合に一律同じ報酬を与える代わりに、トルクＴｒｑとトルク指令値Ｔｒｑ＊との差の絶対値が大きい場合に小さい場合よりもより小さい報酬を与える処理としてもよい。

・たとえば条件（イ）を満たす場合に一律同じ報酬を与える代わりに、加速度Ｇｘの大きさに応じて報酬の大きさを可変とする処理としてもよい。またたとえば、条件（イ）を満たさない場合に一律同じ報酬を与える代わりに、加速度Ｇｘの大きさに応じて報酬の大きさを可変とする処理としてもよい。

・ドライバビリティに関する基準としては、推力の指令値に対する追従性に関する基準や加速度に関する基準に限らない。たとえば、振動および騒音の少なくとも一方に関する基準であってもよい。

・報酬算出処理としては、ドライバビリティに関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理のみに限らない。たとえば、エネルギ利用効率が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理や、排気特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を含めてもよい。

・たとえば「行動変数について」の欄に記載したように、変速装置５０のソレノイドバルブの電流値を行動変数とする場合、たとえば報酬算出処理に以下の（ａ）～（ｃ）の３つの処理のうちの少なくとも１つの処理を含めればよい。

（ａ）変速装置による変速比の切り替えに要する時間が所定時間以内である場合に所定時間を超える場合よりも大きい報酬を与える処理である。
（ｂ）変速装置の入力軸５２の回転速度の変化速度の絶対値が入力側所定値以下である場合に入力側所定値を超える場合よりも大きい報酬を与える処理である。

（ｃ）変速装置の出力軸５４の回転速度の変化速度の絶対値が出力側所定値以下である場合に出力側所定値を超える場合よりも大きい報酬を与える処理である。
なお、（ａ）～（ｃ）は、いずれもドライバビリティに関する基準を満たす場合に満たさない場合より大きい報酬を与える処理である。詳しくは、（ａ）は、推力の指令値に対する追従性に関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理であり、（ｂ）および（ｃ）は、振動および騒音の少なくとも一方に関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理である。

「変更処理について」
・「報酬算出処理について」の欄に記載したように、上記条件（ア）を満たすか否かに応じて報酬を与える処理と、上記条件（イ）を満たすか否かに応じて報酬を与える処理と、を実行する場合において、変更処理を次のようにしてもよい。すなわち、自動運転モードにおいて、上記条件（ア）の条件を、満たし得ない条件として且つ、条件（ア）を満たさない場合には報酬として「０」を与えることとしてもよい。これは、自動運転モードにおいて上記条件（ア）を満たすか否かに応じて報酬を与える処理を実行しないことと等価である。そのため、自動運転モードにおいて上記条件（ア）を満たすか否かに応じて報酬を与える処理を実行しないことは、上記条件（ア）を満たすか否かに応じて報酬を与える処理と、上記条件（イ）を満たすか否かに応じて報酬を与える処理との２つの処理のうちの少なくとも１つの処理を変更する処理とみなせる。

またたとえば、手動運転モードにおいて、上記条件（イ）の条件を、満たし得ない条件として且つ、条件（イ）を満たさない場合には報酬として「０」を与えることとしてもよい。これは、手動運転モードにおいて上記条件（イ）を満たすか否かに応じて報酬を与える処理を実行しないことと等価である。そのため、手動運転モードにおいて上記条件（イ）を満たすか否かに応じて報酬を与える処理を実行しないことは、上記条件（ア）を満たすか否かに応じて報酬を与える処理と、上記条件（イ）を満たすか否かに応じて報酬を与える処理との２つの処理のうちの少なくとも１つの処理を変更する処理とみなせる。

・「報酬算出処理について」の欄に記載したように、変速装置５０のソレノイドバルブの電流値を行動変数とする場合、たとえば次のようにすればよい。すなわち、上記（ａ）の処理の場合、手動運転モードに対して自動運転モードの方が所定時間を長くする。上記（ｂ）の場合、手動運転モードに対して自動運転モードの方が入力側所定値を小さくする。上記（ｃ）の場合、手動運転モードに対して自動運転モードの方が出力側所定値を小さくする。なお、「報酬算出処理について」の欄に記載したように、ドライバビリティに関する基準として振動および騒音の少なくとも一方に関する基準を設ける場合、（ｂ）や（ｃ）に限らず、一般に、手動運転モードに対して自動運転モードでは、より小さい閾値を振動や騒音の強度が超える場合に小さい報酬を与えてもよい。

・ＡＣＣプログラム７４ｂが実行されることにより生成されるトルク指令値Ｔｒｑ＊が車両の加速度Ｇｘについても考慮された値であるなら、逆に、上記規定量ΔＴｒｑを、手動運転モードと比較して自動運転モードの場合により小さく設定してもよい。

・「報酬算出処理について」の欄に記載したように、エネルギ利用効率に関する基準を満たす場合に満たさない場合よりも大きい報酬を与える処理や、排気特性が所定の基準を満たす場合に満たさない場合よりも大きい報酬を与える処理を実行する場合、それらに変更処理を適用してもよい。具体的には、たとえば、自動運転モードにおいては上記実施形態のように指令値への追従性への基準等を緩和できるのであれば、逆に、自動運転モードにおいてエネルギ利用効率に関する基準や排気特性に関する基準を厳しくしてもよい。

「電子機器について」
・行動変数に応じた操作の対象となる内燃機関の操作部としては、スロットルバルブ１４や点火装置２６に限らない。たとえば、燃料噴射弁１６であってもよい。また、内燃機関の操作部にも限らず、たとえば、変速装置５０や、ロックアップクラッチ４２であってもよい。また、たとえば下記「推力生成装置について」の欄に記載したように、推力生成装置として回転電機を備える場合、回転電機に接続されるインバータ等の電力変換回路であってもよい。もっとも、車載駆動系の電子機器に限らず、たとえば車載空調装置等であってもよい。この場合であっても、たとえば車載空調装置が推力生成装置の回転動力によって駆動される場合、推力生成装置の動力のうち駆動輪６０の動力が車載空調装置の負荷トルクに依存することから、車載空調装置の負荷トルクを行動変数に含めることなどは有効である。またたとえば車載空調装置が回転電機の動力を利用しないものであったとしても、エネルギ利用効率に影響することから、行動変数に車載空調装置の消費電力を加えることは有効である。

「車両用制御システムについて」
・図１０の処理では、Ｓ５２の処理を全てデータ解析センター１３０において実行したがこれに限らない。たとえば、Ｓ５２の処理のうちＳ６２～Ｓ６６の処理については、車両ＶＣ１側で実行し、Ｓ１００の処理を一部変更して報酬ｒの算出結果を送信するようにしてもよい。

・車両用制御システムとしては、制御装置７０およびデータ解析センター１３０によって構成されるものに限らない。たとえば、データ解析センター１３０に代えて、ユーザが所持する携帯端末を用い、制御装置７０および携帯端末によって車両用制御システムを構成してもよい。また、たとえば、制御装置７０、携帯端末、およびデータ解析センター１３０によって構成してもよい。これは、たとえば図１０において、Ｓ３６の処理を携帯端末が実行することによって実現できる。

「車両用制御データの生成方法について」
・図４のＳ３６の処理では、行動価値関数Ｑに基づき行動を決定する処理を例示したが、これに限らず、車両の出荷前における車両用制御データの生成工程等においては、とりうるすべての行動を等確率で選択してもよい。

「実行装置について」
実行装置としては、ＣＰＵ７２（１１２，１３２）とＲＯＭ７４（１１４，１３４）とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばＡＳＩＣ等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の（ａ）～（ｃ）のいずれかの構成であればよい。（ａ）上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するＲＯＭ等のプログラム格納装置とを備える。（ｂ）上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。（ｃ）上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。

「記憶装置について」
・上記実施形態では、関係規定データＤＲが記憶される記憶装置と、学習プログラム７４ｃや制御プログラム７４ａが記憶される記憶装置（ＲＯＭ７４）とを別の記憶装置としたが、これに限らない。

「内燃機関について」
・内燃機関としては、火花点火式内燃機関に限らず、たとえば燃料として軽油などを用いる圧縮着火式内燃機関等であってもよい。

「推力生成装置について」
・車両に搭載される推力生成装置としては、内燃機関のみに限らず、たとえばハイブリッド車のように、内燃機関と回転電機とであってもよい。またたとえば、電気自動車や燃料電池車のように、推力生成装置が回転電機のみであってもよい。

１０…内燃機関
１２…吸気通路
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２０…シリンダ
２２…ピストン
２４…燃焼室
２６…点火装置
２８…クランク軸
４０…トルクコンバータ
４２…ロックアップクラッチ
７０…制御装置
１００…ダイナモメータ
１１０…生成装置
１３０…データ解析センター

Claims (6)

1. アクセル操作とは独立に推力生成装置による推力の指令値を自動で生成する自動運転モードと、前記アクセル操作に応じて前記推力生成装置による推力の指令値を生成する手動運転モードと、を実現可能な車両に適用され、
   前記車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶装置に記憶された状態で、
   センサの検出値に基づく前記車両の状態を取得する取得処理と、
   前記電子機器を操作する操作処理と、
   前記取得処理によって取得された前記車両の状態に基づき、前記車両の前後方向の加速度の絶対値が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
   前記取得処理によって取得された前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、を実行装置に実行させ、
   前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
   前記報酬算出処理は、前記手動運転モードにおける前記基準に対して前記自動運転モードにおける前記基準を、前記手動運転モードの場合と比較して前記自動運転モードの場合に前記加速度の絶対値が小さい方がより大きい報酬をうるうえで有利となるように変更する変更処理を含む車両用制御データの生成方法。
2. 前記更新処理によって更新された前記関係規定データに基づき、前記車両の状態と前記期待収益を最大化する前記行動変数の値とを対応付けることによって前記車両の状態を入力とし前記期待収益を最大化する前記行動変数の値を出力する制御用写像データを生成する処理を前記実行装置に実行させる請求項１記載の車両用制御データの生成方法。
3. 請求項１記載の前記記憶装置および前記実行装置を備え、
   前記操作処理は、前記関係規定データに基づき前記取得処理によって取得された前記車両の状態に応じた前記行動変数の値に従って前記電子機器を操作する処理を含む車両用制御装置。
4. 請求項３記載の前記実行装置および前記記憶装置を備え、
   前記実行装置は、前記車両に搭載される第１実行装置と、車載装置とは別の第２実行装置と、を含み、
   前記第１実行装置は、少なくとも前記取得処理および前記操作処理を実行し、
   前記第２実行装置は、少なくとも前記更新処理を実行する車両用制御システム。
5. 請求項４記載の第１実行装置を備える車両用制御装置。
6. 請求項４記載の第２実行装置を備える車両用学習装置。

Images