JP7359011B2 - 内燃機関の制御装置 - Google Patents

内燃機関の制御装置 Download PDF

Info

Publication number
JP7359011B2
JP7359011B2 JP2020017815A JP2020017815A JP7359011B2 JP 7359011 B2 JP7359011 B2 JP 7359011B2 JP 2020017815 A JP2020017815 A JP 2020017815A JP 2020017815 A JP2020017815 A JP 2020017815A JP 7359011 B2 JP7359011 B2 JP 7359011B2
Authority
JP
Japan
Prior art keywords
value
vehicle
operation process
air
internal combustion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020017815A
Other languages
English (en)
Other versions
JP2021124055A (ja
Inventor
洋介 橋本
章弘 片山
裕太 大城
和紀 杉江
尚哉 岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020017815A priority Critical patent/JP7359011B2/ja
Priority to US17/163,784 priority patent/US11230984B2/en
Priority to CN202110149365.0A priority patent/CN113217205B/zh
Publication of JP2021124055A publication Critical patent/JP2021124055A/ja
Application granted granted Critical
Publication of JP7359011B2 publication Critical patent/JP7359011B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/0002—Controlling intake air
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D41/1402—Adaptive control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2441—Methods of calibrating or learning characterised by the learning conditions
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D29/00—Controlling engines, such controlling being peculiar to the devices driven thereby, the devices being other than parts or accessories essential to engine operation, e.g. controlling of engines by signals external thereto
    • F02D29/02—Controlling engines, such controlling being peculiar to the devices driven thereby, the devices being other than parts or accessories essential to engine operation, e.g. controlling of engines by signals external thereto peculiar to engines driving vehicles; peculiar to engines driving variable pitch propellers
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2409—Addressing techniques specially adapted therefor
    • F02D41/2422—Selective use of one or more tables
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
    • F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
    • F02D41/2425—Particular ways of programming the data
    • F02D41/2429—Methods of calibrating or learning
    • F02D41/2451—Methods of calibrating or learning characterised by what is learned or calibrated
    • F02D41/2454—Learning of the air-fuel ratio control
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/30—Controlling fuel injection
    • F02D41/3005—Details not otherwise provided for
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02P—IGNITION, OTHER THAN COMPRESSION IGNITION, FOR INTERNAL-COMBUSTION ENGINES; TESTING OF IGNITION TIMING IN COMPRESSION-IGNITION ENGINES
    • F02P5/00—Advancing or retarding ignition; Control therefor
    • F02P5/04—Advancing or retarding ignition; Control therefor automatically, as a function of the working conditions of the engine or vehicle or of the atmospheric conditions
    • F02P5/145—Advancing or retarding ignition; Control therefor automatically, as a function of the working conditions of the engine or vehicle or of the atmospheric conditions using electrical means
    • F02P5/15—Digital data processing
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D2041/1413—Controller structures or design
    • F02D2041/1431—Controller structures or design the system including an input-output delay
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D2200/00—Input parameters for engine control
    • F02D2200/60—Input parameters for engine control said parameters being related to the driver demands or status
    • F02D2200/602—Pedal position
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/04—Introducing corrections for particular operating conditions
    • F02D41/10—Introducing corrections for particular operating conditions for acceleration
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
    • F02D—CONTROLLING COMBUSTION ENGINES
    • F02D41/00—Electrical control of supply of combustible mixture or its constituents
    • F02D41/02—Circuit arrangements for generating control signals
    • F02D41/14—Introducing closed-loop corrections
    • F02D41/1401—Introducing closed-loop corrections characterised by the control or regulation method
    • F02D41/1406—Introducing closed-loop corrections characterised by the control or regulation method with use of a optimisation method, e.g. iteration

Description

本発明は、車両に搭載された内燃機関の制御装置に関する。
特許文献１には、アクセルペダルの操作量をフィルタ処理した値に基づき、車両に搭載される内燃機関の操作部としてのスロットルバルブを操作する制御装置が記載されている。
特開２０１６－００６３２７号公報
上記フィルタには、内燃機関の効率や排気性状、乗員の快適性などの多数の要求を同時に満たす値をスロットルバルブの操作量として設定するものであることが求められるため、その適合は熟練者が多くの工数を掛けて行う必要がある。そうした実情は、スロットルバルブ以外のエンジンの操作部の操作量の適合についても同様となっている。
上記課題を解決する内燃機関の制御装置は、車両に搭載された内燃機関の燃料噴射弁を操作することで同内燃機関を制御する内燃機関の制御装置であって、エアフローメータが検出する吸入空気量、吸気温センサが検出する吸気温、吸気圧センサが検出する吸気圧、スロットルセンサが検出するスロットル開口度、車速センサが検出する車速、空燃比センサが検出する混合気の空燃比、アクセルペダルセンサが検出するアクセルペダルの踏み込み量、及び車速センサが検出する車速、のそれぞれを状態変数としたとき、複数種類の前記状態変数と前記燃料噴射弁の噴射量指令値との関係を規定するデータであって前記車両の走行中に更新される関係規定データが記憶されるとともに、複数種類の前記状態変数に基づく前記噴射量指令値の演算に用いられるデータであって前記車両の走行中に更新されない適合済みデータが予め記憶された記憶装置と、前記燃料噴射弁の操作を実行する実行装置であって、前記適合済みデータを用いて複数種類の前記状態変数に基づき演算した前記噴射量指令値にて前記燃料噴射弁を操作する第１操作処理と、前記関係規定データと複数種類の前記状態変数とにより定まる前記噴射量指令値にて前記燃料噴射弁を操作する第２操作処理と、前記第２操作処理により前記燃料噴射弁が操作されているときの前記各状態変数に基づいて報酬を算出するとともに、前記各状態変数、前記噴射量指令値、及び前記報酬に基づいて、前記報酬の期待収益を増加させるように前記関係規定データを更新する強化学習処理と、前記車両に搭載されている操作パネルへの操作に応じて前記燃料噴射弁を操作する処理を、前記第１操作処理と前記第２操作処理とに切り替える切替処理と、前記第２操作処理による前記燃料噴射弁の操作中に前記第１操作処理での前記噴射量指令値の演算に使用される複数種類の前記状態変数の中の一部の種類の前記状態変数の値を取得するとともに、取得した同状態変数の値の時系列データを前記記憶装置に記録する記録処理と、を実行する実行装置と、を備え、前記第１操作処理には、前記記録処理で前記時系列データを記憶した前記一部の種類の前記状態変数の値を制御量として同制御量の目標値と検出値との偏差に応じて前記噴射量指令値を補正するフィードバック補正処理が含まれている。
上記内燃機関の制御装置では、予め記憶装置に記憶された適合済みデータを用いて噴射量指令値の演算が行われる第１操作処理による内燃機関の燃料噴射弁の操作では、車両の出荷前に噴射量指令値の適合を済ませておく必要がある。これに対して、第２操作処理の実行中は、同第２操作処理による燃料噴射弁の操作の結果として変化する車両の状態から報酬が算出されるとともに、その報酬の期待収益が増加するように関係規定データが更新される。すなわち、第２操作処理による内燃機関の燃料噴射弁の操作時には、強化学習による噴射量指令値の適合が進められる。このように第２操作処理により燃料噴射弁を操作する際の噴射量指令値については、車両の走行中に自動で適合することが可能なため、車両出荷前の熟練者による噴射量指令値の適合に係る工数を低減できる。ただし、そうした強化学習は車両の様々な状態のもとでそれぞれ時間を掛けて行う必要があり、車両の運用によっては適合の完了に時間を要することがある。そのため、車両の運転状況によっては、車両走行中の強化学習により噴射量指令値を適合するよりも、車両の出荷前に適合を済ませておいた方が、望ましい結果が得られる場合がある。これに対して上記内燃機関の制御装置における実行装置は、切替処理において、車両の状態に応じて燃料噴射弁を操作する処理を、第１操作処理と第２操作処理とに切り替えている。したがって、上記内燃機関の制御装置によれば、内燃機関の燃料噴射弁の噴射量指令値の適合に係る熟練者の工数を好適に軽減できる。
ここで、第１操作処理での噴射量指令値の演算に用いられる値に、噴射量指令値の演算毎に、状態変数の値から算出された更新量に応じて更新される値が含まれている場合がある。この場合の上記値の更新は、そのときの状態変数の瞬時値に基づいて行われるが、更新された値は、それまでの噴射量指令値の演算毎の状態変数の値に基づき算出された更新量を積算した値となる。このように、第１操作処理での噴射量指令値の演算が、状態変数の瞬時に基づいて行われる場合にあっても、それまでの状態変数の値の推移を反映した値として噴射量指令値が演算される場合がある。そうした場合、第２操作処理から第１操作処理への切替直後の噴射量指令値の演算値には、第２操作処理中の状態変数の値の推移が反映されないため、以前から第１操作処理が継続されていた場合とは異なった値が噴射量指令値として設定されてしまう。
これに対して、上記内燃機関の制御装置における実行装置は、記録処理において、第２操作処理による燃料噴射弁の操作中に、第１操作処理での噴射量指令値の演算に使用する一部の種類の状態変数の値を取得するとともに、その取得した状態変数の値の時系列データを記憶装置に記録している。記録した時系列データを参照することで、燃料噴射弁を操作する処理が第２操作処理から第１操作処理に切り替えられたときに、その切替前の第２操作処理の実行中の状態変数の値の推移を反映した値として噴射量指令値を設定することが可能となる。
第１実施形態に係る内燃機関の制御装置の構成を模式的に示す図。 同制御装置における実行装置が実行する処理のフローチャート。 同実行装置が実行する第１操作処理でのスロットルバルブの操作に係る処理の流れを示す制御ブロック図。 同実行装置が実行する第１操作処理での燃料噴射弁の操作に係る処理の流れを示す制御ブロック図。 同実行装置が実行する第１操作処理での点火装置の操作に係る処理の流れを示す制御ブロック図。 同実行装置が実行する第２操作処理、及び強化学習処理に係る処理の流れを示すフローチャート。 同実行装置が実行する記録処理のフローチャート。 同実行装置が実行する切替時処理のフローチャート。 （ａ）は要求トルクＴｏｒ＊及び要求トルク緩変化値Ｔｏｒｓｍ＊の推移を、（ｂ）は開口度指令値ＴＡ＊の推移を、それぞれ示すタイムチャート。 第１操作処理でのスロットルバルブの操作に係る処理の変更例における処理の流れを示す制御ブロック図。
以下、内燃機関の制御装置の第１実施形態を、図１～図９を参照して詳細に説明する。
図１に、本実施形態の制御装置７０、及び同制御装置７０が制御対象とする車両ＶＣ１に搭載された内燃機関１０の構成を示す。内燃機関１０の吸気通路１２には、上流側から順にスロットルバルブ１４及び燃料噴射弁１６が設けられており、吸気通路１２に吸入された空気や燃料噴射弁１６から噴射された燃料は、吸気バルブ１８の開弁に伴って、シリンダ２０及びピストン２２によって区画される燃焼室２４に流入する。燃焼室２４内において、燃料と空気との混合気は、点火装置２６の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン２２を介してクランク軸２８の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ３０の開弁に伴って、排気として排気通路３２に排出される。排気通路３２には、排気を浄化する後処理装置としての触媒３４が設けられている。
制御装置７０は、内燃機関１０の状態を示す制御量であるトルクや排気成分比率等を制御すべく、スロットルバルブ１４、燃料噴射弁１６及び点火装置２６等の内燃機関１０の操作部を操作する。なお、図１には、スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６のそれぞれの操作信号ＭＳ１～ＭＳ３が記載されている。
制御装置７０は、内燃機関１０の制御量の制御のために、内燃機関１０の状態を検出する各種センサの検出値を取得する。内燃機関１０の状態を検出するセンサには、吸入空気量Ｇａを検出するエアフローメータ８０、吸気温ＴＨＡを検出する吸気温センサ８１、吸気圧Ｐｍを検出する吸気圧センサ８２、スロットルバルブ１４の開口度であるスロットル開口度ＴＡを検出するスロットルセンサ８３、クランク軸２８の回転角θｃを検出するクランク角センサ８４が含まれる。また、上記センサには、燃焼室２４でのノッキングの発生状況に応じたノック信号Ｋｎｋを出力するノックセンサ８５、燃焼室２４で燃焼された混合気の空燃比ＡＦを検出する空燃比センサ８６も含まれる。また、制御装置７０は、アクセルペダル８７の踏み込み量であるアクセル操作量ＰＡを検出するアクセルペダルセンサ８８や、車両ＶＣ１の前後方向の加速度Ｇｘを検出する加速度センサ８９、車速Ｖを検出する車速センサ９０などの車両ＶＣ１の状態を検出するセンサの検出値も参照する。
さらに、車両ＶＣ１には、手動アクセル走行と自動アクセル走行との走行モードの切り替えや、自動アクセル走行時の設定速度を変更するための操作パネル９２が設置されている。手動アクセル走行は、運転者のアクセルペダル８７の操作に応じて車両ＶＣ１の加減速を行う走行モードであり、自動アクセル走行は、アクセルペダル８７の操作に基づかずに、車速Ｖを設定速度に維持すべく車両ＶＣ１の加減速を自動で行う走行モードである。制御装置７０は、内燃機関１０の制御量の制御に際して、手動アクセル走行、自動アクセル走行のいずれが車両ＶＣ１の走行モードとして選択されているかを示すモード変数ＭＶの値を参照してもいる。なお、手動アクセル走行から自動アクセル走行への切り替えは、既定のオートクルーズ許可条件を満たした状態で操作パネル９２において設定速度の設定、及びオートクルーズの開始操作を行うことで許可される。オートクルーズ許可条件には、自動車専用道路を走行中であること、車速Ｖが既定の範囲内の速度であること、などが含まれる。一方、自動アクセル走行から手動アクセル走行への切り替えは、運転者がブレーキペダルを踏むことや、操作パネル９２においてオートクルーズの解除操作を行うことで実施される。
制御装置７０は、内燃機関１０の制御に係る処理を実行する実行装置としてのＣＰＵ７２と、周辺回路７８と、を備えている。周辺回路７８には、内部の動作を規定するクロック信号を生成する回路や電源回路、リセット回路等が含まれる。また、制御装置７０は、車両ＶＣ１の走行中に記憶したデータ等の書き換えが不能な読込専用メモリ７４と、車両ＶＣ１の走行中に記憶したデータ等を電気的に書き換え可能な不揮発性メモリ７６と、を記憶装置として備えている。これらＣＰＵ７２、読込専用メモリ７４、不揮発性メモリ７６、及び周辺回路７８は、ローカルネットワーク７９を介して通信可能とされている。
読込専用メモリ７４には、内燃機関１０の制御用の制御プログラム７４ａが記憶されている。制御プログラム７４ａには、内燃機関１０の各操作部の操作用のプログラムである第１操作プログラム７４ｂと第２操作プログラム７４ｃとの２つのプログラムが含まれている。また、読込専用メモリ７４には、第１操作プログラム７４ｂによる内燃機関１０の各操作部の操作に用いられる複数の適合済みデータＤＳが記憶されている。一方、不揮発性メモリ７６には、内燃機関１０の状態を含む車両ＶＣ１の状態を示す状態変数と操作量との関係を規定するデータであり、第２操作プログラム７４ｃによる内燃機関１０の各操作部の操作に用いられる関係規定データＤＲが記憶されている。そして、読込専用メモリ７４には、関係規定データＤＲを更新するための強化学習処理用のプログラムである学習プログラム７４ｄが記憶されている。さらに、読込専用メモリ７４には、状態変数の値の時系列データＤＴＳを不揮発性メモリ７６に記録するためのプログラムである記録処理プログラム７４ｅが記憶されている。
適合済みデータＤＳには、内燃機関１０の各操作部の操作量の演算に用いられる各種のマップデータが含まれる。マップデータは、入力変数の離散的な値と、入力変数のそれぞれの値に対する出力変数の値と、の組データである。マップデータには、要求トルク演算用のマップデータＤＳ１、開口度演算用のマップデータＤＳ２、基本点火時期演算用のマップデータＤＳ３、限界遅角点火時期演算用のマップデータＤＳ４等が含まれる。要求トルク演算用のマップデータＤＳ１は、アクセル操作量ＰＡと車速Ｖとを入力変数とするとともに内燃機関１０のトルクの要求値である要求トルクＴｏｒ＊を出力変数とするマップデータである。開口度演算用のマップデータＤＳ２は、内燃機関１０のトルクを入力変数とするとともに、そのトルクの発生に必要なスロットル開口度ＴＡの値を出力変数とするマップデータである。基本点火時期演算用のマップデータＤＳ３は、機関回転数ＮＥ及び吸気量ＫＬを入力変数とするとともに基本点火時期Ａｂｓｅを出力変数とするマップデータである。基本点火時期Ａｂｓｅは、内燃機関１０のトルクが最大となる点火時期である最適点火時期と、ノッキングを抑制し得る点火時期の進角限界であるトレースノック点火時期と、の２つの時期のうち、より遅角側の時期である。限界遅角点火時期演算用のマップデータＤＳ４は、機関回転数ＮＥと吸気量ＫＬとを入力変数とするとともに限界遅角点火時期Ａｋｍｆを出力変数とするマップデータである。限界遅角点火時期Ａｋｍｆは、燃焼室２４での混合気の燃焼が悪化しない点火時期の遅角限界である。
また、適合済みデータＤＳには、吸気量演算用のモデルデータＤＳ５が含まれる。モデルデータＤＳ５は、燃焼室２４に流入する吸気量ＫＬの演算に用いられる内燃機関１０の吸気挙動の物理モデルのデータであり、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、スロットル開口度ＴＡ、機関回転数ＮＥ等の入力に応じて吸気量ＫＬを出力するものとなっている。
これらマップデータＤＳ１～ＤＳ４及びモデルデータＤＳ５は、これらを用いて演算される操作量が、内燃機関１０の排気性状、燃料消費率、運転者の快適性などの要件を満たす値となるように予め適合されている。そして、マップデータＤＳ１～ＤＳ４及びモデルデータＤＳ５は、車両ＶＣ１の出荷前に読込専用メモリ７４に予め書き込まれており、整備施設などに設置された専用の設備を用いてのみ更新可能とされている。すなわち、適合済みデータＤＳは、車両ＶＣ１の走行中には更新されないデータとなっている。
図２に、本実施形態に係る制御装置７０が実行する内燃機関１０の各操作部の操作に係る処理の手順を示す。図２に示す処理は、読込専用メモリ７４に記憶された制御プログラム７４ａをＣＰＵ７２が既定の制御周期毎に繰り返し実行することにより実現される。なお、以下では、先頭に「Ｓ」が付与された数字によって各処理のステップ番号を示す。本実施形態では、図２の処理を通じて、車両ＶＣ１が手動アクセル走行を行っているか、自動アクセル走行を行っているかにより、第１操作処理により操作部の操作を実行するか、第２操作処理により操作部の操作を実行するかを切り替える切替処理が行われる。
図２に示す一連の処理が開始されると、ＣＰＵ７２はまずステップＳ２００において、モード変数ＭＶの値を取得する。続いてＣＰＵ７２は、ステップＳ２１０において、モード変数ＭＶの値が示す車両ＶＣ１の走行モードが自動アクセル走行であるか否かを判定する。
このときの車両ＶＣ１の走行モードが自動アクセル走行でない場合（Ｓ２１０：ＮＯ）、すなわち手動アクセル走行である場合には、ＣＰＵ７２は、ステップＳ２２０において、第２操作プログラム７４ｃの実行を通じて内燃機関１０の各操作部を操作する第２操作処理を実行する。また、ＣＰＵ７２は、続くステップＳ２３０において、学習プログラム７４ｄの実行を通じて関係規定データＤＲを更新するための強化学習処理を実行する。さらに、ＣＰＵ７２は、続くステップＳ２４０において、記録処理プログラム７４ｅの実行を通じて記録処理を実行する。そして、ＣＰＵ７２は、次のステップＳ２５０においてフラグＦＬをクリアした後、図２に示す一連の処理を一旦終了する。なお、フラグＦＬは、第２操作処理から第１操作処理への切り替えに際して、後述する切り替え時処理が完了しているか否かを示すフラグである。
一方、車両ＶＣ１の走行モードが自動アクセル走行である場合（Ｓ２１０：ＹＥＳ）には、ＣＰＵ７２はステップＳ２６０において、上記フラグＦＬがセットされているか否かを判定する。そして、ＣＰＵ７２は、フラグＦＬがセットされている場合（Ｓ２６０：ＹＥＳ）にはステップＳ２７０に処理を進め、そのステップＳ２７０において、第１操作プログラム７４ｂの実行を通じて内燃機関１０の各操作部を操作する第１操作処理を実行した後、図２に示す一連の処理を一旦終了する。これに対してＣＰＵ７２は、フラグＦＬがクリアされている場合（Ｓ２６０：ＮＯ）にはステップＳ２８０に処理を進め、そのステップＳ２８０において後述の切替時処理を実行する。また、この場合のＣＰＵ７２は、続くステップＳ２９０においてフラグＦＬをセットした後、図２に示す一連の処理を一旦終了する。
図２に示す一連の処理では、手動アクセル走行中は、第２操作処理による内燃機関１０の操作部の操作、強化学習処理による関係規定データＤＲの更新、及び記録処理による時系列データＤＴＳの記録が行われる。また、このときのフラグＦＬは、クリアされた状態に保持される。車両ＶＣ１の走行モードが手動アクセル走行から自動アクセル走行に切り替わると、その切り替え後の最初の制御周期には、切替時処理が実行されるとともに、フラグＦＬがセットされる。その後、自動アクセル走行が続く間は、第１操作処理による内燃機関１０の操作部の操作が行われるが、その間、フラグＦＬはセットされた状態に保持される。よって、切替時処理は、手動アクセル走行から自動アクセル走行への切り替え時に実行される処理となっている。
続いて、第１操作処理における内燃機関１０の各操作部の操作について説明する。第１操作処理では、読込専用メモリ７４に予め記憶された適合済みデータＤＳを用いてそれぞれ演算された操作量に基づき、内燃機関１０の各操作部の操作が行われる。ここでは、内燃機関１０の操作部のうちのスロットルバルブ１４、燃料噴射弁１６、及び点火装置２６についての第１操作処理における操作について説明する。
図３に、第１操作処理におけるスロットルバルブ１４の操作に係るＣＰＵ７２の処理手順を示す。図３に示されるように、第１操作処理におけるスロットルバルブ１４の操作に際してはまず、アクセル操作量ＰＡ及び車速Ｖを入力としたマップデータＤＳ１の出力が、要求トルクＴｏｒ＊の値として演算される。なお、本実施形態の場合、第１操作処理は、自動アクセル走行モードにおいて実行される。そのため、ここでのアクセル操作量ＰＡには、運転者の実際のアクセルペダルの操作量ではなく、車速Ｖを設定速度に保持するために必要な車両ＶＣ１の加減速の要求量をアクセルペダルの操作量に換算した仮想的なアクセル操作量ＰＡが用いられる。
続いて、要求トルクＴｏｒ＊に緩変化処理を施した値が要求トルク緩変化値Ｔｏｒｓｍ＊として演算される。緩変化処理は、要求トルクＴｏｒ＊を入力とし、その要求トルクＴｏｒ＊に対して遅れを有して追従する値を要求トルク緩変化値Ｔｏｒｓｍ＊の値として出力するフィルタ処理である。本実施形態では、要求トルクＴｏｒ＊の修正移動平均値を要求トルク緩変化値Ｔｏｒｓｍ＊の値として出力するフィルタ処理を緩変化処理として採用している。具体的には、式（１）の関係を満たすように要求トルク緩変化値Ｔｏｒｓｍ＊の値を更新することで、その演算を行っている。なお、式（１）における「ｎ」は、２以上の整数として予め設定された定数である。こうした緩変化処理により、スロットル開口度ＴＡの急激な変化により、機関回転数ＮＥが急変して運転者の快適性が損なわれたり、吸気の応答遅れにより排気性状が悪化したり、することが抑えられる。
さらに、要求トルク緩変化値Ｔｏｒｓｍ＊を入力としたマップデータＤＳ２の出力が、スロットル開口度ＴＡの指令値である開口度指令値ＴＡ＊の値として演算される。そして、信号出力処理により、開口度指令値ＴＡ＊へのスロットル開口度ＴＡの変更を指令する指令信号ＭＳ１がスロットルバルブ１４に出力される。
図４に、第１操作処理における燃料噴射弁１６の操作に係るＣＰＵ７２の処理手順を示す。図４に示されるように、第１操作処理における燃料噴射弁１６の操作に際してはまず、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、スロットル開口度ＴＡ、機関回転数ＮＥ等を入力としたモデルデータＤＳ５の出力が吸気量ＫＬの値として演算される。そして、燃焼室２４で燃焼する混合気の空燃比の目標値である目標空燃比ＡＦ＊により吸気量ＫＬを割った商が基本噴射量Ｑｂの値として演算される。
また、目標空燃比ＡＦ＊に対する空燃比ＡＦの検出値の偏差に応じて空燃比フィードバック補正値ＦＡＦが演算される。空燃比フィードバック補正値ＦＡＦの演算は、ＰＩＤ処理により行われる。すなわち、目標空燃比ＡＦ＊に対する空燃比ＡＦの検出値の偏差に既定の比例ゲインを乗算した積である比例項、同偏差の時間積分値に既定の積分ゲインを乗算した積である積分項、及び同偏差の時間微分値に既定の微分ゲインを乗算した積である微分項をそれぞれ演算する。そして、それら比例項、積分項、及び微分項を足し合わせた和を空燃比フィードバック補正値ＦＡＦの値として演算する。
また、第１操作処理による燃料噴射弁１６の操作に際しては、空燃比学習値ＫＧの学習処理が行われる。空燃比学習値ＫＧの学習処理は、機関回転数ＮＥや吸気量ＫＬが安定した内燃機関１０の定常運転時における空燃比フィードバック補正値ＦＡＦの値に基づいて次の（イ）～（ハ）の態様で空燃比学習値ＫＧの値を更新することで行われる。（イ）空燃比フィードバック補正値ＦＡＦの絶対値が既定の更新判定値未満の場合には、空燃比学習値ＫＧの値を保持する。（ロ）空燃比フィードバック補正値ＦＡＦが正の値であり、かつその絶対値が既定の更新判定値以上の場合には、更新前の値から既定の更新量を引いた差を更新後の値とするように空燃比学習値ＫＧの値を更新する。（ハ）空燃比フィードバック補正値ＦＡＦが負の値であり、かつその絶対値が更新判定値以上の場合には、更新前の値に上記更新量を足した和を更新後の値とするように空燃比学習値ＫＧの値を更新する。
さらに、基本噴射量Ｑｂ、空燃比フィードバック補正値ＦＡＦ、及び空燃比学習値ＫＧを足し合わせた和が噴射量指令値Ｑｉの値として演算される。そして、信号出力処理により、噴射量指令値Ｑｉの演算値に応じた量の燃料噴射を指令する指令信号ＭＳ２が燃料噴射弁１６に出力される。
図５に、第１操作処理における点火装置２６の操作に係るＣＰＵ７２の処理手順を示す。第１操作処理における点火装置２６の操作に際してはまず、機関回転数ＮＥ及び吸気量ＫＬを入力としたマップデータＤＳ３の出力が基本点火時期Ａｂｓｅの値として演算される。また、機関回転数ＮＥ及び吸気量ＫＬを入力としたマップデータＤＳ４の出力が限界遅角点火時期Ａｋｍｆの値として演算される。そして、基本点火時期Ａｂｓｅから限界遅角点火時期Ａｋｍｆを引いた差が限界遅角量Ａｋｍａｘの値として演算される。
また、第１操作処理における点火装置２６の操作に際しては、ノック信号Ｋｎｋに基づくノック制御量Ａｋｃｓの演算処理が行われる。ノック制御量Ａｋｃｓの演算は、下記（ニ）、（ホ）の態様でノック制御量Ａｋｃｓの値を更新することで行われる。（ニ）ノック信号Ｋｎｋがノッキングの発生を示す値である場合には、更新前の値に既定のノック遅角量を加えた和を更新後の値とするようにノック制御量Ａｋｃｓの値を更新する。（ホ）ノック信号Ｋｎｋがノッキングの発生がないことを示す値である場合には、更新前の値から既定のノック進角量を引いた差を更新後の値とするようにノック制御量Ａｋｃｓの値を更新する。なお、ノック遅角量には正の値が、ノック進角量にはノック遅角量よりも大きい値が、それぞれ設定されている。
そして、限界遅角量Ａｋｍａｘにノック制御量Ａｋｃｓを加えた和が点火時期遅角量Ａｋｎｋの値として演算され、さらに基本点火時期Ａｂｓｅから点火時期遅角量Ａｋｎｋを引いた差が点火時期指令値Ａｏｐの値として演算される。そして、信号出力処理により、点火時期指令値Ａｏｐの演算値に対応した時期の点火の実行を指令する指令信号ＭＳ３が点火装置２６に出力される。
続いて、第２操作処理における内燃機関１０の各操作部の操作について説明する。第２操作処理では、不揮発性メモリ７６に記憶された関係規定データＤＲと車両ＶＣ１の状態とにより定まる操作量に応じて内燃機関１０の各操作部の操作が行われる。上述のように、ＣＰＵ７２は、第２操作処理と並行して、強化学習処理を実行する。強化学習処理は、ＣＰＵ７２が読込専用メモリ７４に記憶された学習プログラム７４ｄを読み込んで実行することで実現される。
なお、本実施形態における関係規定データＤＲは、行動価値関数Ｑ、及び方策πを定めるデータとされている。行動価値関数Ｑは、状態ｓ及び行動ａの各独立変数に応じた期待収益の値を示すテーブル形式の関数である。本実施形態では、状態ｓを、機関回転数ＮＥ、吸気量ＫＬ、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、空燃比ＡＦ、アクセル操作量ＰＡ、及び車速Ｖの８つの変数としている。また、本実施形態では、行動ａを、内燃機関１０の操作部の操作量である開口度指令値ＴＡ＊、噴射量指令値Ｑｉ、及び点火時期指令値Ａｏｐの３つの変数としている。すなわち、状態ｓは８次元のベクトルであり、行動ａは３次元のベクトルである。また、本実施形態に係る行動価値関数Ｑ（ｓ，ａ）は、テーブル形式の関数とされている。
図６に、第２操作処理、及び強化学習処理の両処理に係るＣＰＵ７２の処理手順を示す。ＣＰＵ７２は、図２のステップＳ２２０における第２操作処理の実行毎に、図６に示す一連の処理を実行する。なお、本実施形態では、図６のＳ５１０～Ｓ５３０が第２操作処理に、図６のＳ５４０～Ｓ５９０が強化学習処理に、それぞれ該当する。
図６に示す一連の処理が開始されると、まずＳ５００において、「ｔ」の値が「０」にリセットされる。続いてステップＳ５１０において、車両ＶＣ１の最新の状態ｓが読み込まれ、その読み込まれた状態ｓの各変数の値が状態ｓ［ｔ］の各変数の値として代入される。次に、ステップＳ５２０において、関係規定データＤＲに規定された方策π［ｔ］に従って、行動ａ［ｔ］が選択される。ここでの行動ａ［ｔ］は、状態ｓ［ｔ］に対して選択された行動ａであることを意味する。また、方策π［ｔ］は、状態ｓ［ｔ］において、行動価値関数Ｑ（ｓ［ｔ］，ａ）を最大化する行動ａを、すなわちグリーディな行動を選択する確率を最大としつつも、それ以外の行動ａの選択確率も「０」としないものとなっている。このようにグリーディな行動を採用しない場合があることで、最適な行動を探るための探索を可能としている。こうした方策πは、εグリーディ行動選択手法や、ソフトマックス行動選択手法によって実現できる。そして、続くステップＳ５３０において、行動ａ［ｔ］として選択された開口度指令値ＴＡ＊、噴射量指令値Ｑｉ、及び点火時期指令値Ａｏｐに応じて、スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６のそれぞれに操作信号ＭＳ１～ＭＳ３が出力される。
その後、ステップＳ５４０及びステップＳ５５０において、報酬ｒ［ｔ］が算出される。報酬ｒ［ｔ］の算出に際しては、まずステップＳ５４０において、上記行動ａ［ｔ］に応じた操作部の操作後の最新の状態ｓが読み込まれ、その読み込まれた状態ｓの各変数の値が状態ｓ［ｔ＋１］の各変数の値として設定される。そして、ステップＳ５５０において、状態ｓ［ｔ＋１］に基づき、行動ａ［ｔ］による報酬ｒ［ｔ］が算出される。報酬ｒ［ｔ］は、目標空燃比ＡＦ＊に対する空燃比ＡＦの偏差の積算値等から求められた内燃機関１０の排気特性に関する報酬、噴射量指令値Ｑｉの積算値等から求められた内燃機関１０の燃料消費率に関する報酬、加速度Ｇｘの積算値等から求められた運転者の快適性に関する報酬など、観点の異なる複数の報酬の和として算出される。
続いてステップＳ５６０において、行動価値関数Ｑのうち、状態ｓ［ｔ］、行動ａ［ｔ］の場合の行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）の値を更新する更新量を算出するための誤差δ［ｔ］が算出される。本実施形態では、方策オフ型ＴＤ法を用いて誤差δ［ｔ］を算出している。すなわち、割引率γを用いて、誤差δ［ｔ］を、行動価値関数Ｑ（ｓ［ｔ＋１］，Ａ）のうちの最大値に割引率γを乗算した値、及び報酬ｒ［ｔ］の和から行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）を減算した値とする。なお、「Ａ」は、行動ａの集合を意味する。次に、ステップＳ５７０において、誤差δ［ｔ］に学習率αを乗算した積を行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）に加算することによって、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が更新される。すなわち、関係規定データＤＲによって規定されている行動価値関数Ｑ（ｓ，ａ）のうち、独立変数が状態ｓ［ｔ］及び行動ａ［ｔ］となるものの値を、「α・δ［ｔ］」だけ変化させる。これらステップＳ５６０及びステップＳ５７０の処理により、報酬ｒ［ｔ］の期待収益を増加させるように関係規定データＤＲが更新される。これは、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が更新されることによって、行動価値関数Ｑ（ｓ［ｔ］，ａ［ｔ］）が実際の期待収益をより高精度に表現する値に更新されるためである。
続くステップＳ５８０では、各独立変数について行動価値関数Ｑの値が収束したか否かが判定される。収束していないと判定された場合（ＮＯ）には、ステップＳ５９０において、「ｔ」の値が「１」加増された後、ステップＳ５１０に処理が戻される。これに対して、行動価値関数Ｑの値が収束したと判定された場合（Ｓ５８０：ＹＥＳ）には、図６に示す一連の処理が一旦終了される。
続いて、図７を参照して、図２に示す一連の処理のステップＳ２４０においてＣＰＵ７２が実行する記録処理について説明する。記録処理は、第２操作処理による操作部の操作中に第１操作処理での操作量の演算に使用される状態変数の値を取得するとともに、取得した同状態変数の値の時系列データを記憶装置である不揮発性メモリ７６に記録する処理である。
図７に示す一連の処理においてＣＰＵ７２はまずステップＳ７００において、要求トルクＴｏｒ＊、第２操作処理による噴射量指令値Ｑｉの演算値、吸気量ＫＬ、及び第１操作処理での燃料噴射弁１６の操作に際して演算された空燃比学習値ＫＧのそれぞれの値を取得する。なお、以下の説明では、第２操作処理による噴射量指令値Ｑｉの演算値を「Ｑｉ２」と記載する。
続いて、ＣＰＵ７２はステップＳ７１０において、吸気量ＫＬを目標空燃比ＡＦ＊で除算した商に空燃比学習値ＫＧを加えた和を、仮想噴射量ｖＱｉ１の値として演算する。上述のように第１噴射処理では、基本噴射量Ｑｂ、空燃比フィードバック補正値ＦＡＦ、及び空燃比学習値ＫＧを足し合わせた和を噴射量指令値Ｑｉの値として演算している。仮想噴射量ｖＱｉ１の値は、こうした第１操作処理における噴射量指令値Ｑｉの演算値から空燃比フィードバック補正値ＦＡＦを引いた差、すなわち空燃比フィードバック補正値ＦＡＦを０とした場合の第１操作処理における噴射量指令値Ｑｉの演算値を示す。
続くステップＳ７２０においてＣＰＵ７２は、Ｑｉ２をｖＱｉ１で割った商に目標空燃比ＡＦ＊を掛けた積を仮想空燃比ｖＡＦの値として演算する。上述のように第２操作処理では、強化学習による操作量の適合が行われており、その強化学習の報酬ｒには、目標空燃比ＡＦ＊に対する空燃比ＡＦの偏差の積算値等から求められた内燃機関１０の排気特性に関する報酬が含まれている。こうした強化学習による操作量の適合が十分に進んでいれば、第２操作処理による噴射量指令値Ｑｉの演算値であるＱｉ２は、空燃比ＡＦを目標空燃比ＡＦ＊とする値となっている筈である。一方、空燃比ＡＦは、燃焼室２４で燃焼する混合気の空気の質量を燃料の質量で割った商である。よって、Ｑｉ２が空燃比ＡＦを目標空燃比ＡＦ＊とする噴射量指令値Ｑｉであるとすれば、所定の値Ｑｘを噴射量指令値Ｑｉの値として燃料噴射弁１６を操作したときの空燃比ＡＦは、Ｑｉ２をＱｘで割った商に目標空燃比ＡＦ＊を乗算した積（＝ＡＦ＊×Ｑｉ２／Ｑｘ）となる。よって、仮想空燃比ｖＡＦは、第２操作処理により燃料噴射弁１６を操作している現状において、仮想噴射量ｖＱｉ１を噴射量指令値Ｑｉとして燃料噴射弁１６を操作すると仮定した場合の空燃比ＡＦの想定値を表すことになる。
続いてＣＰＵ７２は、ステップＳ７３０において、不揮発性メモリ７６に記録されている要求トルクＴｏｒ＊及び仮想空燃比ｖＡＦの時系列データＤＴＳをそれぞれ更新した後、図７に示す一連の処理を終了する。なお、本実施形態では、ｎ回前の制御周期から今回の制御周期までのそれぞれの周期で取得したｎ個の要求トルクＴｏｒ＊の値からなるデータを、要求トルクＴｏｒ＊の時系列データとして記録している。また、本実施形態では、ｍ回前の制御周期から今回の制御周期までのそれぞれの周期で演算されたｍ個の仮想空燃比ｖＡＦの値からなるデータを、仮想空燃比ｖＡＦの時系列データとして記録している。なお、「ｍ」は２以上の整数である。
続いて、図８を参照して切替時処理の詳細を説明する。上述のように切替時処理は、手動アクセル走行から自動アクセル走行への切り替え時に実行される処理となっている。
図８に示す一連の処理が開始されると、ＣＰＵ７２はまずステップＳ８００において、不揮発性メモリ７６に記録された要求トルクＴｏｒ＊、及び仮想空燃比ｖＡＦの時系列データを取得する。そして、ＣＰＵ７２は、続くステップＳ８１０において、取得した要求トルクＴｏｒ＊の時系列データに基づき、要求トルク緩変化値Ｔｏｒｓｍ＊を演算する。本実施形態では、要求トルクＴｏｒ＊の時系列データに含まれるｎ個の要求トルクＴｏｒ＊の値の平均値を要求トルク緩変化値Ｔｏｒｓｍ＊の値として演算している。さらにＣＰＵ７２はステップＳ８２０において、演算した要求トルク緩変化値Ｔｏｒｓｍ＊に基づいて開口度指令値ＴＡ＊を演算する。具体的には、このときのＣＰＵ７２は、要求トルク緩変化値Ｔｏｒｓｍ＊を入力値としたマップデータＤＳ２の出力値を開口度指令値ＴＡ＊の値として演算している。
また、ＣＰＵ７２は次のステップＳ８３０において、仮想空燃比ｖＡＦの時系列データから空燃比フィードバック補正値ＦＡＦを演算する。本実施形態では、下記の態様で、ここでの空燃比フィードバック補正値ＦＡＦの演算を行っている。すなわち、ここでの空燃比フィードバック補正値ＦＡＦの演算に際してはまず、時系列データに含まれる各仮想空燃比ｖＡＦの移動平均値が求められる。続いて、現在の吸気量ＫＬをその移動平均値で割った商が、空燃比ＡＦを目標空燃比ＡＦ＊とするために必要な噴射量指令値Ｑｉの値、「Ｑｆ」として演算される。また、現在の吸気量ＫＬを目標空燃比ＡＦ＊で割った商が基本噴射量Ｑｂの値として演算される。そして、基本噴射量Ｑｂと空燃比学習値ＫＧとの和を「Ｑｆ」から引いた差が空燃比フィードバック補正値ＦＡＦの値として演算される。すなわち、ここでは、仮想空燃比ｖＡＦの時系列データから求められた「Ｑｆ」が空燃比ＡＦを目標空燃比ＡＦ＊とする噴射量指令値Ｑｉの値であるとして、空燃比フィードバック補正値ＦＡＦの値を演算している。そして、ＣＰＵ７２は、続くステップＳ８４０において、基本噴射量Ｑｂ、空燃比フィードバック補正値ＦＡＦ、及び空燃比学習値ＫＧの和を噴射量指令値Ｑｉの値として演算する。
続いて、ＣＰＵ７２は、ステップＳ８５０において、点火時期指令値Ａｏｐを含む内燃機関１０の他の操作部の操作量を演算する。ここでの操作量の演算は、第１操作処理と同じ態様で行われる。そして、ＣＰＵ７２は続くステップＳ８６０において、演算した各操作量に応じて内燃機関１０の各操作部の操作を実行した後、図８に示す一連の処理を終了する。
こうした切替時処理では、次の２点を除いては、第１操作処理と同じ態様で内燃機関１０の操作部の操作が実行される。すなわち、開口度指令値ＴＡ＊の演算に用いる要求トルク緩変化値Ｔｏｒｓｍ＊を要求トルクＴｏｒ＊の時系列データに基づき演算すること、及び噴射量指令値Ｑｉの演算に用いる空燃比フィードバック補正値ＦＡＦを仮想空燃比ｖＡＦの時系列データに基づき演算すること、の２点が第１操作処理と切替時処理との相違点である。
本実施形態の作用及び効果について説明する。
本実施形態における制御装置７０は、第１操作処理と第２操作処理との２つの操作処理からいずれかの処理を選択して内燃機関１０の操作部の操作を行う。第１操作処理では、読込専用メモリ７４に予め記憶された適合済みデータＤＳを用いて演算した操作量により操作部を操作する。こうした第１操作処理での操作量の演算に用いる適合済みデータＤＳは、車両ＶＣ１の出荷前に予め適合を済ませておく必要がある。一方、第２操作処理では、不揮発性メモリ７６に記憶された関係規定データＤＲと車両ＶＣ１の状態とにより定まる操作量にて操作部を操作する。そして、第２操作処理の実行中は、同第２操作処理による操作部の操作の結果として変化する車両ＶＣ１の状態から報酬ｒが算出されるとともに、その報酬ｒの期待収益が増加するように関係規定データＤＲが更新される。すなわち、第２操作処理による内燃機関１０の操作部の操作時には、強化学習による操作量の適合が進められる。このように車両ＶＣ１の走行中に強化学習による操作量の適合を行えば、車両出荷前の熟練者による操作量の適合に係る工数を低減できる。しかしながら、車両走行中の強化学習による操作量の適合は、制御装置７０の演算負荷の増大を伴うものとなっている。このように車両走行中の強化学習による操作量の適合には、熟練者による操作量の適合に係る工数を低減できるというメリットがある一方で、制御装置７０の演算負荷を増加させるというデメリットが存在する。また、強化学習による操作量の適合の完了にはある程度の時間を要するため、適合が完了するまでは内燃機関１０の制御性が悪化する虞もある。
本実施形態の制御装置７０が適用される内燃機関１０が搭載された車両ＶＣ１は、運転者のアクセルペダル操作に応じて車両ＶＣ１の加減速を行う手動アクセル走行と、アクセルペダル操作に基づかずに車両ＶＣ１の加減速を自動で行う自動アクセル走行と、を行うものとなっている。手動アクセル走行時と自動アクセル走行時とでは、車両ＶＣ１が取り得る状態に違いがあるため、操作量の適合もそれぞれ個別に行う必要がある。なお、車両ＶＣ１での自動アクセル走行は、自動車専用道路の走行中に運転者が自動アクセル走行を選択した場合に限り実施される。そのため、自動アクセル走行は、手動アクセル走行に比べて低い頻度でしか実施されない可能性が高く、自動アクセル走行時の操作量の適合を強化学習で行うとすると、その適合が未完了の状態が長く続く虞がある。
そこで本実施形態では、想定される実施頻度の高い手動アクセル走行については、車両走行中の強化学習により操作量の適合を行う一方で、想定される実施頻度の低い自動アクセル走行については従来手法により操作量の適合を行うようにしている。こうした本実施形態では、自動アクセル走行については従来手法により操作量を適合する必要があるが、手動アクセル走行、自動アクセル走行の双方について従来手法により操作量を適合する場合に比べてば、熟練者の適合に係る工数は少なくて済む。
ところで、上述のように、第１操作処理によるスロットルバルブ１４の開口度指令値ＴＡ＊の演算に際しては、要求トルクＴｏｒ＊を入力とするとともにその要求トルクＴｏｒ＊の変化に対して遅れを有して追従する値を要求トルク緩変化値Ｔｏｒｓｍ＊として出力する緩変化処理が行われる。そして、要求トルク緩変化値Ｔｏｒｓｍ＊を入力としたマップデータＤＳ２の出力が開口度指令値ＴＡ＊の値として演算されている。なお、以下の説明では、第１操作処理による開口度指令値ＴＡ＊の演算値を「ＴＡ＊［１］」と記載する一方、第２操作処理による開口度指令値ＴＡ＊の演算値を「ＴＡ＊［２］」と記載する。
図９（ａ）には要求トルクＴｏｒ＊が急減したときの要求トルクＴｏｒ＊が二点鎖線で、そのときの要求トルク緩変化値Ｔｏｒｓｍ＊の推移が実線で、それぞれ示されている。また、図９（ｂ）にはそのときの演算値ＴＡ＊［１］の推移が実線で示されている。このように、演算値ＴＡ＊［１］は、要求トルクＴｏｒ＊の変化に対して遅れを有して変化する値として演算されている。第１操作処理では、緩変化処理により、吸気の応答遅れによる内燃機関１０の排気性状の悪化や機関回転数ＮＥの急変による運転者の快適性の低下を抑制している。
一方、上述のように第２操作処理では、車両ＶＣ１の状態ｓを入力とした関係規定データＤＲの出力として内燃機関１０の各操作部の操作量が演算されている。また、第２操作処理の操作量の適合は、内燃機関１０の排気性状や運転者の快適性の観点から算出された報酬ｒに基づく強化学習により行われている。こうした強化学習による適合が適切になされれば、第２操作処理による開口度指令値ＴＡ＊の演算値ＴＡ＊［２］も、第１操作処理の演算値ＴＡ＊［１］と同様に、要求トルクＴｏｒ＊の変化に対して遅れを有して変化する値となるように演算される。なお、以下の説明では、要求トルクＴｏｒ＊の変更に応じて開口度指令値ＴＡ＊の値が変化し始めた時点から、変更後の要求トルクＴｏｒ＊に応じた値に開口度指令値ＴＡ＊が収束する時点までの開口度指令値ＴＡ＊が変化している期間を過渡期間と記載する。
ここで、図９に示される過渡期間中の時刻ｔ１に、第２操作処理から第１操作処理への操作部の操作の切り替えを実施するとともに、その切り替えと同時に第１操作処理による開口度指令値ＴＡ＊の演算も開始する場合を考える。図９には、この場合の要求トルク緩変化値Ｔｏｒｓｍ＊及び開口度指令値ＴＡ＊の推移がそれぞれ点線で示されている。なお、この場合には、時刻ｔ１以前は第２操作処理の演算値ＴＡ＊［２］が、時刻ｔ１以降は第１操作処理の演算値ＴＡ＊［１］が、それぞれスロットルバルブ１４の操作に用いられる。この場合には、緩変化処理も時刻ｔ１に開始されるため、演算値ＴＡ＊［１］には、時刻ｔ１以前の要求トルクＴｏｒ＊の推移は反映されなくなる。そのため、第２操作処理から第１操作処理への切り替え前後で開口度指令値ＴＡ＊に段差が生じてしまい、内燃機関１０の制御性が悪化する。
これに対して本実施形態では、ＣＰＵ７２は、記録処理において、第２操作処理による内燃機関１０の操作部の操作中の要求トルクＴｏｒ＊の値を取得するとともに、その取得した要求トルクＴｏｒ＊の値の時系列データを不揮発性メモリ７６に記録している。そして、ＣＰＵ７２は、第２操作処理から第１操作処理への切り替えに際して実行される切替時処理において、記録した要求トルクＴｏｒ＊の時系列データから要求トルク緩変化値Ｔｏｒｓｍ＊を演算している。このときの要求トルク緩変化値Ｔｏｒｓｍ＊は、第１操作処理への切り替えがなされる前の第２操作処理による操作中の要求トルクＴｏｒ＊に対して遅れを有して追従する値となる。そしてＣＰＵ７２は、切替時処理において、要求トルクＴｏｒ＊の時系列データから演算した要求トルク緩変化値Ｔｏｒｓｍ＊に基づいて開口度指令値ＴＡ＊を演算している。そのため、第２操作処理から第１操作処理への切り替え前後で開口度指令値ＴＡ＊に段差が生じにくくなる。
さらに、第１操作処理では、空燃比フィードバック補正値ＦＡＦによる噴射量指令値Ｑｉの補正、すなわち空燃比フィードバック補正が行われている。そして、こうした空燃比フィードバック補正により、燃料噴射弁１６の噴射特性や内燃機関１０の吸気特性等の個体差や経時変化による目標空燃比ＡＦ＊に対する空燃比ＡＦのずれを補償している。こうした空燃比フィードバック補正による目標空燃比ＡＦ＊への空燃比ＡＦの収束にはある程度の時間を要する。そのため、第２操作処理から第１操作処理への切り替えと共に、空燃比フィードバック補正値ＦＡＦが「０」の状態から空燃比フィードバック補正を開始すれば、一時的に空燃比ＡＦが目標空燃比ＡＦ＊から乖離して内燃機関１０の排気性状が悪化する虞がある。
これに対して本実施形態では、第２操作処理による内燃機関１０の操作部の操作中に、ＣＰＵ７２は記録処理において、第１操作処理での空燃比フィードバック補正値ＦＡＦの演算に使用する空燃比ＡＦの仮想値である仮想空燃比ｖＡＦの値を取得するとともに、その時系列データを不揮発性メモリ７６に記録している。こうして時系列データを記録する仮想空燃比ｖＡＦの値からは、空燃比ＡＦを目標空燃比ＡＦ＊とする空燃比フィードバック補正値ＦＡＦの値を求められる。そこで、ＣＰＵ７２は、第２操作処理から第１操作処理への切り替えに際して実行される切替時処理において、記録した仮想空燃比ｖＡＦの時系列データから空燃比フィードバック補正値ＦＡＦを演算するとともに、その空燃比フィードバック補正値ＦＡＦに応じて噴射量指令値Ｑｉを演算して燃料噴射弁１６を操作している。そのため、第１操作処理による操作の開始時から、空燃比ＡＦを目標空燃比ＡＦ＊とする値が空燃比フィードバック補正値ＦＡＦの値として設定されることになり、第１操作処理による燃料噴射弁１６の操作の開始直後の目標空燃比ＡＦ＊からの空燃比ＡＦの乖離が抑えられる。
以上の本実施形態によれば、以下の効果を奏することができる。
（１）上記実施形態では、想定される実施の頻度が高い手動アクセル走行における内燃機関１０の操作部の操作量の適合は車両走行中の強化学習により行っている。一方、想定される実施の頻度が低く、車両走行中の強化学習の実施機会が限られると考えられる自動アクセル走行における操作部の適合については従来手法で行っている。よって、手動アクセル走行、自動アクセル走行の双方における操作量の適合を各々に適した手法で実施でき、かつ熟練者の適合に係る工数を低減できる。
（２）手動アクセル走行時の操作量の適合が、車両走行中の強化学習を通じて行われる。そのため、手動アクセル走行時における内燃機関１０の操作部の操作量の適合結果に内燃機関１０の個体差や経時変化が反映され、そうした個体差や経時変化に起因した内燃機関１０の制御性の悪化が抑えられる。
（３）上記実施形態におけるＣＰＵ７２は、記録処理において、第２操作処理による内燃機関１０の操作部の操作中に、第１操作処理での開口度指令値ＴＡ＊の演算に使用される要求トルクＴｏｒ＊の値を取得するとともに、取得した要求トルクＴｏｒ＊の値の時系列データを不揮発性メモリ７６に記録している。この記録した要求トルクＴｏｒ＊の時系列データを用いることで、第２操作処理による操作を終了して第１操作処理を開始する際の開口度指令値ＴＡ＊を、第１操作処理の開始前の要求トルクＴｏｒ＊の変化を反映した値として演算できる。そのため、第２操作処理から第１操作処理への切り替え前後の開口度指令値ＴＡ＊の値に段差が生じにくくなる。
（４）上記実施形態におけるＣＰＵ７２は、記録処理において、第２操作処理による内燃機関１０の操作部の操作中に、第１操作処理での空燃比フィードバック補正値ＦＡＦの演算に用いられる空燃比ＡＦの仮想値である仮想空燃比ｖＡＦを取得するとともに、取得した仮想空燃比ｖＡＦの値の時系列データを不揮発性メモリ７６に記録している。この記録した仮想空燃比ｖＡＦの時系列データを用いることで、第２操作処理による操作を終了して第１操作処理を開始する際の空燃比ＡＦを目標空燃比ＡＦ＊とする空燃比フィードバック補正値ＦＡＦの値を求められる。そのため、第２操作処理から第１操作処理への切り替え直後に目標空燃比ＡＦ＊からの空燃比ＡＦの乖離が生じにくくなる。
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・自動アクセル走行、手動アクセル走行について
上記実施形態における自動アクセル走行は、車速Ｖを設定速度に維持すべく、車両ＶＣ１の加減速を自動で行う走行モードとしていたが、走行中の道路や周辺の車両や歩行者などを検知してその検知結果に基づき車両ＶＣ１の加減速を自動で行う走行モードを自動アクセル走行として行うようにしてもよい。また、自動アクセル走行において、車両ＶＣ１の加減速に加えて車両ＶＣ１の操舵や制動の少なくとも一方を自動で行うようにしてもよい。また、手動アクセル走行において、車両ＶＣ１の加減速は運転者のアクセルペダル操作に応じて手動で行う一方で、車両ＶＣ１の操舵、制動の少なくとも一方は自動で行うようにしてもよい。
・内燃機関の操作部について
スロットルバルブ１４、燃料噴射弁１６、及び点火装置２６以外の操作部を、第１操作処理と第２操作処理との切り替えの対象とする内燃機関１０の操作部としてもよい。例えば排気の一部を吸気中に再循環する排気再循環機構を備えるとともに排気の再循環量を調整するＥＧＲバルブが同排気再循環機構に設けられた内燃機関の場合、ＥＧＲバルブを第１操作処理と第２操作処理との切替対象とする内燃機関の操作部としてもよい。また、吸気バルブ１８や排気バルブ３０の動弁特性を可変とする可変動弁機構を備える内燃機関の場合には、同可変動弁機構を第１操作処理と第２操作処理との切替対象とする内燃機関の操作部としてもよい。
・切替処理について
上記実施形態では、自動アクセル走行中に第１操作処理を、手動アクセル走行中に第２操作処理をそれぞれ実行していた。主に自動アクセル走行を行い、限られた状況でのみ手動アクセル走行を行うように運用される車両などでは、車両走行中の強化学習による操作量の適合が、自動アクセル走行には適しているが、手動アクセル走行には不適となる場合がある。そうした場合、自動アクセル走行中に第２操作処理を、手動アクセル走行中に第１操作処理をそれぞれ実行するようにしてもよい。
また、上記以外の車両ＶＣ１の状態に応じて操作処理の切り替えを行うようにしてもよい。内燃機関１０の運転領域に、例えば高負荷高回転領域など、使用頻度の低い領域が存在する場合がある。使用頻度の低い運転領域では、他の運転領域に比べて、車両走行中の強化学習による操作量の適合が遅れる。そのため、使用頻度の低い運転領域では第１操作処理により、使用頻度が高い運転領域では第２操作処理により、それぞれ内燃機関１０の操作部を操作することが考えられる。
さらに、切替処理による第１操作処理、第２操作処理の切り替えの対象とする操作部を内燃機関の操作部の中の一部の操作部に限定し、残りの操作部については手動・自動のいずれのアクセル操作走行においても、第１又は第２のいずれかの操作処理で操作するようにしてもよい。
・状態ｓについて
上記実施形態では、機関回転数ＮＥ、吸気量ＫＬ、吸入空気量Ｇａ、吸気温ＴＨＡ、吸気圧Ｐｍ、空燃比ＡＦ、アクセル操作量ＰＡ、及び車速Ｖの８つの変数を状態ｓとしていたが、それらのうちの一つ以上を状態ｓから割愛したり、内燃機関１０や車両ＶＣ１の状態を示すそれら以外の変数を状態ｓに加えたりしてもよい。
・報酬ｒについて
状態ｓに基づく報酬ｒの算出を、上記実施形態とは異なる態様で行うようにしてもよい。例えば窒素酸化物や微粒子物質などの排気の有害成分の排出量を取得するとともにその排出量に基づき内燃機関１０の排気特性に関する報酬を算出したり、車室の振動や騒音レベルを測定するとともにその測定結果に基づいて快適性に関する報酬を算出したり、してもよい。
・行動価値関数Ｑについて
上記実施形態では、行動価値関数Ｑをテーブル形式の関数としていたが、これに限らない。例えば関数近似器を行動価値関数Ｑとして用いるようにしてもよい。また、行動価値関数Ｑを用いる代わりに、状態ｓ及び行動ａを独立変数とするとともに行動ａを取る確率を従属変数とする関数近似器にて方策πを表現し、報酬ｒに応じてその方策πを更新するようにしてもよい。
・関係規定データＤＲの更新について
上記実施形態では、方策オフ型ＴＤ法により関係規定データＤＲを更新していたが、例えばＳＡＲＳＡ法のような方策オン型ＴＤ法により同更新を行うようにしてもよい。また、方策オン型の更新手法として、適格度トレース法を用いるようにしてもよい。さらに、モンテカルロ法などの上記以外の方法により、関係規定データＤＲの更新を行うことも可能である。
・フィードバック補正処理について
上記実施形態における第１操作処理での燃料噴射弁１６の噴射量指令値Ｑｉの演算は、空燃比ＡＦに応じたフィードバック補正処理を通じて行われていた。そして、記録処理において、そのフィードバック補正処理に用いる状態変数である空燃比ＡＦの時系列データ、厳密には同空燃比ＡＦの仮想値である仮想空燃比ｖＡＦの時系列データを記録していた。第１操作処理で演算する操作量の中に、噴射量指令値Ｑｉの他にもフィードバック補正処理を通じて演算される操作量が存在する場合、そのフィードバック補正処理に用いられる状態変数も、記録処理での時系列データの記録の対象とする状態変数に含めるようにするとよい。
ちなみに、ここでのフィードバック補正処理とは、次の処理である。すなわち、フィードバック補正処理とは、車両ＶＣ１の状態変数の一つを制御量として、同制御量の目標値と検出値との偏差に応じてフィードバック補正値を演算するとともに、適合済みデータＤＳを用いて演算された操作量の値を、そのフィードバック補正値により補正する処理である。
・緩変化処理について
上記実施形態における第１操作処理でのスロットルバルブ１４の開口度指令値ＴＡ＊の演算は、緩変化処理を通じて行われていた。そして、記録処理において、緩変化処理の対象となる状態変数である要求トルクＴｏｒ＊の時系列データを記録していた。第１操作処理で演算する操作量の中に、開口度指令値ＴＡ＊の他にも緩変化処理を通じて演算される操作量が存在する場合、その緩変化処理の対象となる状態変数を記録処理での時系列データの記録の対象とする状態変数に含めるようにするとよい。
ちなみに、ここでの緩変化処理とは、次の処理である。緩変化処理での操作量の演算は、予め記憶装置に記憶されたデータであって、車両の状態変数に含まれる変数である状態変数を入力とするとともに操作量を出力とする写像を規定する適合済みのデータを用いて行われる。そして、緩変化処理は、次の２つの処理Ａ、Ｂのいずれか一方の処理となっている。処理Ａは、状態変数の検出値を入力とするとともに同検出値に対して遅れを有して変化する値を上記写像の入力値として出力する処理である。これに対して、処理Ｂは、上記写像の出力値を入力とするとともに同出力値に対して遅れを有して変化する値を操作量の演算値として出力する処理である。なお、上記実施形態でのスロットルバルブ１４の開口度指令値ＴＡ＊の演算に際しては、上記処理Ａが緩変化処理として行われるが、上記処理Ｂを緩変化処理として行うことも可能である。
図１０には、処理Ｂを緩変化処理として行って開口度指令値ＴＡ＊を演算する場合の第１操作処理におけるスロットルバルブ１４の操作に係るＣＰＵ７２の処理手順を示す。図１０に示されるように、この場合の第１操作処理におけるスロットルバルブ１４の操作に際してはまず、アクセル操作量ＰＡ及び車速Ｖを入力としたマップデータＤＳ１の出力が、要求トルクＴｏｒ＊の値として演算される。続いて、要求トルクＴｏｒ＊を入力としたマップデータＤＳ２の出力が開口度指令値ＴＡ＊の値として演算される。さらに、開口度指令値ＴＡ＊に緩変化処理を施した値が開口度緩変化指令値ＴＡｓｍ＊として演算される。そして、信号出力処理により、開口度緩変化指令値ＴＡｓｍ＊へのスロットル開口度ＴＡの変更を指令する指令信号ＭＳ１がスロットルバルブ１４に出力される。
こうした場合にも、要求トルクＴｏｒ＊の時系列データを用いることで、第１操作処理の開始時の開口度指令値ＴＡ＊を、直近の要求トルクＴｏｒ＊の変化に対して遅れを有して変化する値として演算できる。すなわち、要求トルクＴｏｒ＊の時系列データ、及び要求トルクＴｏｒ＊の現在値から同要求トルクＴｏｒ＊の緩変化値を求める。そして、その緩変化値を入力としたマップデータＤＳ２の出力を開口度指令値ＴＡ＊として演算して、その開口度指令値ＴＡ＊に応じてスロットルバルブ１４を操作する。
・記録処理について
上記実施形態では、記録処理において、第１操作処理での開口度指令値ＴＡ＊及び噴射量指令値Ｑｉの両操作量の演算にそれぞれ用いる要求トルクＴｏｒ＊、仮想空燃比ｖＡＦの２つの状態変数の値の時系列データを記録していた。第１操作処理での他の操作量の演算に用いる状態変数の値の時系列データを記録処理において記録するようにしてもよい。また、記録処理において、第１操作処理での操作量の演算に使用する全ての状態変数の時系列データを記録するようにしてもよい。
１０…内燃機関
１２…吸気通路
１４…スロットルバルブ
１６…燃料噴射弁
１８…吸気バルブ
２０…シリンダ
２２…ピストン
２４…燃焼室
２６…点火装置
２８…クランク軸
３０…排気バルブ
３２…排気通路
３４…触媒
７０…制御装置
７２…ＣＰＵ
７４…読込専用メモリ
７４ａ…制御プログラム
７４ｂ…第１操作プログラム
７４ｃ…第２操作プログラム
７６…不揮発性メモリ
７８…周辺回路
７９…ローカルネットワーク
８０…エアフローメータ
８２…スロットルセンサ
８４…クランク角センサ
８６…空燃比センサ
８７…アクセルペダル
８８…アクセルセンサ
９０…加速度センサ
ＤＲ…関係規定データ
ＤＳ…適合済みデータ
ＤＴＳ…時系列データ
ＶＣ１…車両

Claims (2)

  1. 車両に搭載された内燃機関の燃料噴射弁を操作することで同内燃機関を制御する内燃機関の制御装置であって、
    エアフローメータが検出する吸入空気量、吸気温センサが検出する吸気温、吸気圧センサが検出する吸気圧、スロットルセンサが検出するスロットル開口度、車速センサが検出する車速、空燃比センサが検出する混合気の空燃比、アクセルペダルセンサが検出するアクセルペダルの踏み込み量、及び車速センサが検出する車速、のそれぞれを状態変数としたとき、
    複数種類の前記状態変数と前記燃料噴射弁の噴射量指令値との関係を規定するデータであって前記車両の走行中に更新される関係規定データが記憶されるとともに、複数種類の前記状態変数に基づく前記噴射量指令値の演算に用いられるデータであって前記車両の走行中に更新されない適合済みデータが予め記憶された記憶装置と、
    前記燃料噴射弁の操作を実行する実行装置であって、
    前記適合済みデータを用いて複数種類の前記状態変数に基づき演算した前記噴射量指令値にて前記燃料噴射弁を操作する第１操作処理と、
    前記関係規定データと複数種類の前記状態変数とにより定まる前記噴射量指令値にて前記燃料噴射弁を操作する第２操作処理と、
    前記第２操作処理により前記燃料噴射弁が操作されているときの前記各状態変数に基づいて報酬を算出するとともに、前記各状態変数、前記噴射量指令値、及び前記報酬に基づいて、前記報酬の期待収益を増加させるように前記関係規定データを更新する強化学習処理と、
    前記車両に搭載されている操作パネルへの操作に応じて、前記燃料噴射弁を操作する処理を、前記第１操作処理と前記第２操作処理とに切り替える切替処理と、
    前記第２操作処理による前記燃料噴射弁の操作中に前記第１操作処理での前記噴射量指令値の演算に使用される複数種類の前記状態変数の中の一部の種類の前記状態変数の値を取得するとともに、取得した同状態変数の値の時系列データを前記記憶装置に記録する記録処理と、
    を実行する実行装置と、
    を備え、
    前記第１操作処理には、前記記録処理で前記時系列データを記憶した前記一部の種類の前記状態変数の値を制御量として同制御量の目標値と検出値との偏差に応じて前記噴射量指令値を補正するフィードバック補正処理が含まれている
    内燃機関の制御装置。
  2. 前記車両は、運転者のアクセルペダル操作に応じて前記車両の加減速を行う手動アクセル走行と、前記アクセルペダル操作に基づかずに前記車両の加減速を自動で行う自動アクセル走行と、を行うものであり、
    かつ前記切替処理は、前記車両が前記手動アクセル走行を行っている場合に前記第２操作処理を実行し、前記自動アクセル走行を行っている場合に前記第１操作処理を実行する処理である
    請求項１に記載の内燃機関の制御装置。
JP2020017815A 2020-02-05 2020-02-05 内燃機関の制御装置 Active JP7359011B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020017815A JP7359011B2 (ja) 2020-02-05 2020-02-05 内燃機関の制御装置
US17/163,784 US11230984B2 (en) 2020-02-05 2021-02-01 Controller and control method for internal combustion engine
CN202110149365.0A CN113217205B (zh) 2020-02-05 2021-02-03 内燃机的控制装置及控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020017815A JP7359011B2 (ja) 2020-02-05 2020-02-05 内燃機関の制御装置

Publications (2)

Publication Number Publication Date
JP2021124055A JP2021124055A (ja) 2021-08-30
JP7359011B2 true JP7359011B2 (ja) 2023-10-11

Family

ID=77061783

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020017815A Active JP7359011B2 (ja) 2020-02-05 2020-02-05 内燃機関の制御装置

Country Status (3)

Country Link
US (1) US11230984B2 (ja)
JP (1) JP7359011B2 (ja)
CN (1) CN113217205B (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6744597B1 (ja) * 2019-10-18 2020-08-19 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
US11603111B2 (en) * 2019-10-18 2023-03-14 Toyota Jidosha Kabushiki Kaisha Vehicle controller, vehicle control system, and learning device for vehicle
JP7205503B2 (ja) 2020-01-22 2023-01-17 トヨタ自動車株式会社 内燃機関の制御装置
JP7222366B2 (ja) * 2020-01-27 2023-02-15 トヨタ自動車株式会社 内燃機関の制御装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000203304A (ja) 1999-01-13 2000-07-25 Yamaha Motor Co Ltd 自動走行車両の車速制御装置
JP2000250604A (ja) 1999-03-02 2000-09-14 Yamaha Motor Co Ltd 特性最適化方法における最適化の協調方法
JP2017191567A (ja) 2016-04-15 2017-10-19 ファナック株式会社 生産計画を実施する生産システム
JP2021110276A (ja) 2020-01-09 2021-08-02 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP2021115875A (ja) 2020-01-22 2021-08-10 トヨタ自動車株式会社 内燃機関の制御装置
JP2021116781A (ja) 2020-01-29 2021-08-10 トヨタ自動車株式会社 車両制御方法、車両用制御装置及びサーバ
JP2021116740A (ja) 2020-01-27 2021-08-10 トヨタ自動車株式会社 内燃機関の制御装置
JP2021116783A (ja) 2020-01-29 2021-08-10 トヨタ自動車株式会社 車両用制御装置および車両用制御システム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10176578A (ja) * 1996-05-28 1998-06-30 Matsushita Electric Ind Co Ltd 空燃比制御装置
JPH10103101A (ja) * 1996-09-27 1998-04-21 Nissan Motor Co Ltd 車両用制御装置
US6032139A (en) 1996-09-27 2000-02-29 Yamaha Hatsudoki Kabushiki Kaisha Electronic controller using genetic evolution techniques suitable for controlling a motor
JP3825845B2 (ja) 1996-09-27 2006-09-27 ヤマハ発動機株式会社 進化的制御方式
JPH10254505A (ja) * 1997-03-14 1998-09-25 Toyota Motor Corp 自動制御装置
JP2000054862A (ja) * 1998-08-07 2000-02-22 Yamaha Motor Co Ltd 動力源付き乗物における出力制御方法
US6549815B1 (en) 1999-03-02 2003-04-15 Yamaha Hatsudoki Kabushiki Kaisha Method and apparatus for optimizing overall characteristics of device, using heuristic method
DE19910035A1 (de) 1999-03-08 2000-09-14 Fev Motorentech Gmbh Verfahren zur automatischen Erstellung von geglätteten Kennfeldern für eine elektronische Motorsteuerung einer Kolbenbrennkraftmaschine
US6886003B2 (en) * 2000-06-28 2005-04-26 Yamaha Hatsudoki Kabushiki Kaisha Method for controlling machine with control module optimized by improved evolutionary computing
JP2002251597A (ja) 2001-02-23 2002-09-06 Yamaha Motor Co Ltd 最適解探索装置、最適化アルゴリズムによる制御対象の制御装置及び最適解探索プログラム
US6785601B2 (en) * 2001-12-18 2004-08-31 Hitachi Unisia Automotive, Ltd. Air-fuel ratio control apparatus of internal combustion engine and method thereof
JP2010182287A (ja) * 2008-07-17 2010-08-19 Steven C Kays 適応型インテリジェント・デザイン
JP5461049B2 (ja) * 2009-04-07 2014-04-02 株式会社デンソー エンジン制御装置
JP4975158B2 (ja) 2010-11-08 2012-07-11 本田技研工業株式会社 プラントの制御装置
CN102787915A (zh) * 2012-06-06 2012-11-21 哈尔滨工程大学 基于强化学习pid控制器的柴油机电子调速方法
JP6036751B2 (ja) * 2014-06-10 2016-11-30 トヨタ自動車株式会社 制御装置
KR102483801B1 (ko) * 2015-05-12 2023-01-02 현대두산인프라코어(주) 휠 로더의 제어 방법, 제어 장치 및 제어 시스템
JP6026612B2 (ja) 2015-09-22 2016-11-16 本田技研工業株式会社 車両用内燃機関の制御装置
US9803576B2 (en) 2016-02-16 2017-10-31 Robert Bosch Gmbh System and method to predict calibration values based on existing calibrations
DE102016007584A1 (de) * 2016-06-21 2017-02-23 Daimler Ag Vorrichtung und Verfahren zum Betrieb eines Fahrzeugs
US20180293814A1 (en) 2017-04-05 2018-10-11 GM Global Technology Operations LLC Method to classify system performance and detect environmental information
CN107842433B (zh) * 2017-09-22 2019-09-24 威伯科汽车控制系统（中国）有限公司 发动机油门需求扭矩的在线自学习方法
JP6919997B2 (ja) 2018-02-06 2021-08-18 株式会社日立製作所 制御装置、制御方法、および制御プログラム
US11511745B2 (en) 2018-04-27 2022-11-29 Huawei Technologies Co., Ltd. Method and system for adaptively controlling object spacing
US10746123B2 (en) 2018-08-21 2020-08-18 Cummins Inc. Deep reinforcement learning for air handling and fuel system referencing
US11002202B2 (en) 2018-08-21 2021-05-11 Cummins Inc. Deep reinforcement learning for air handling control
US11014448B2 (en) 2018-11-27 2021-05-25 Ford Global Technologies, Llc Methods and systems for cruise control velocity tracking
JP6796679B2 (ja) * 2019-04-26 2020-12-09 本田技研工業株式会社 車両制御システム及び方法、並びに走行支援サーバ
GB2583383B (en) * 2019-04-26 2021-06-09 Perkins Engines Co Ltd Internal combustion engine controller
US20200398859A1 (en) 2019-06-20 2020-12-24 Cummins Inc. Reinforcement learning control of vehicle systems
JP6705545B1 (ja) 2019-10-18 2020-06-03 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP6970156B2 (ja) 2019-10-18 2021-11-24 トヨタ自動車株式会社 車両の制御に用いるデータの生成方法、車両用制御装置、車両用制御システム、車載装置および車両用学習装置
JP7302466B2 (ja) 2019-12-23 2023-07-04 トヨタ自動車株式会社 車両用内燃機関の劣化判定装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000203304A (ja) 1999-01-13 2000-07-25 Yamaha Motor Co Ltd 自動走行車両の車速制御装置
JP2000250604A (ja) 1999-03-02 2000-09-14 Yamaha Motor Co Ltd 特性最適化方法における最適化の協調方法
JP2017191567A (ja) 2016-04-15 2017-10-19 ファナック株式会社 生産計画を実施する生産システム
JP2021110276A (ja) 2020-01-09 2021-08-02 トヨタ自動車株式会社 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置
JP2021115875A (ja) 2020-01-22 2021-08-10 トヨタ自動車株式会社 内燃機関の制御装置
JP2021116740A (ja) 2020-01-27 2021-08-10 トヨタ自動車株式会社 内燃機関の制御装置
JP2021116781A (ja) 2020-01-29 2021-08-10 トヨタ自動車株式会社 車両制御方法、車両用制御装置及びサーバ
JP2021116783A (ja) 2020-01-29 2021-08-10 トヨタ自動車株式会社 車両用制御装置および車両用制御システム

Also Published As

Publication number Publication date
US20210239060A1 (en) 2021-08-05
US11230984B2 (en) 2022-01-25
JP2021124055A (ja) 2021-08-30
CN113217205B (zh) 2023-01-03
CN113217205A (zh) 2021-08-06

Similar Documents

Publication Publication Date Title
JP7359011B2 (ja) 内燃機関の制御装置
JP7205503B2 (ja) 内燃機関の制御装置
JP7222366B2 (ja) 内燃機関の制御装置
US6928361B2 (en) Control apparatus for motor vehicle and storage medium
JP6705544B1 (ja) 車両用制御装置、車両用制御システム、および車両用学習装置
JP4292209B2 (ja) エンジンの制御装置および制御方法
JP6705547B1 (ja) 車両用制御装置、車両用制御システム、および車両用学習装置
TW202117180A (zh) 車輛控制裝置、車輛控制系統、及車輛控制方法
CN102859161B (zh) 内燃机的控制装置
JP7302466B2 (ja) 車両用内燃機関の劣化判定装置
KR20050065401A (ko) 내연 기관용 제어 장치
JP6489085B2 (ja) エンジン制御装置
JP4905588B2 (ja) 内燃機関の制御装置
US7386387B2 (en) Method for controlling an internal combustion engine using valve lift switchover
JP6036751B2 (ja) 制御装置
KR102474612B1 (ko) 운행거리를 반영한 엔진의 질소산화물 제어 방법
US8793058B2 (en) Control device for internal combustion engine
JP5278606B2 (ja) 内燃機関の制御装置
JP7314819B2 (ja) 車両制御方法、車両用制御装置及びサーバ
JP7207289B2 (ja) 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法
JP7384089B2 (ja) スロットル制御装置
JP2018145816A (ja) 内燃機関の学習制御装置
JPH08334044A (ja) 内燃機関の空燃比を制御する方法
JPH10339200A (ja) 内燃機関のアイドル回転数制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230911

R151 Written notification of patent or utility model registration

Ref document number: 7359011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151