JP6809588B1 - 車両用制御システム、車両用制御装置、および車両用学習装置 - Google Patents
車両用制御システム、車両用制御装置、および車両用学習装置 Download PDFInfo
- Publication number
- JP6809588B1 JP6809588B1 JP2019191096A JP2019191096A JP6809588B1 JP 6809588 B1 JP6809588 B1 JP 6809588B1 JP 2019191096 A JP2019191096 A JP 2019191096A JP 2019191096 A JP2019191096 A JP 2019191096A JP 6809588 B1 JP6809588 B1 JP 6809588B1
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- state
- update
- value
- reward
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2477—Methods of calibrating or learning characterised by the method used for learning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/04—Monitoring the functioning of the control system
- B60W50/045—Monitoring control system parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/06—Improving the dynamic response of the control system, e.g. improving the speed of regulation or avoiding hunting or overshoot
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D37/00—Non-electrical conjoint control of two or more functions of engines, not otherwise provided for
- F02D37/02—Non-electrical conjoint control of two or more functions of engines, not otherwise provided for one of the functions being ignition
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2429—Methods of calibrating or learning
- F02D41/2451—Methods of calibrating or learning characterised by what is learned or calibrated
- F02D41/2464—Characteristics of actuators
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/2406—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using essentially read only memories
- F02D41/2425—Particular ways of programming the data
- F02D41/2487—Methods for rewriting
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/26—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor
- F02D41/28—Interface circuits
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02P—IGNITION, OTHER THAN COMPRESSION IGNITION, FOR INTERNAL-COMBUSTION ENGINES; TESTING OF IGNITION TIMING IN COMPRESSION-IGNITION ENGINES
- F02P5/00—Advancing or retarding ignition; Control therefor
- F02P5/04—Advancing or retarding ignition; Control therefor automatically, as a function of the working conditions of the engine or vehicle or of the atmospheric conditions
- F02P5/045—Advancing or retarding ignition; Control therefor automatically, as a function of the working conditions of the engine or vehicle or of the atmospheric conditions combined with electronic control of other engine functions, e.g. fuel injection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N7/00—Computing arrangements based on specific mathematical models
- G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/02—Registering or indicating driving, working, idle, or waiting time only
-
- G—PHYSICS
- G07—CHECKING-DEVICES
- G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
- G07C5/00—Registering or indicating the working of vehicles
- G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle for navigation systems
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/26—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor
- F02D41/28—Interface circuits
- F02D2041/281—Interface circuits between sensors and control unit
- F02D2041/285—Interface circuits between sensors and control unit the sensor having a signal processing unit external to the engine control unit
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/0002—Controlling intake air
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F02—COMBUSTION ENGINES; HOT-GAS OR COMBUSTION-PRODUCT ENGINE PLANTS
- F02D—CONTROLLING COMBUSTION ENGINES
- F02D41/00—Electrical control of supply of combustible mixture or its constituents
- F02D41/24—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means
- F02D41/26—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor
- F02D41/266—Electrical control of supply of combustible mixture or its constituents characterised by the use of digital means using computer, e.g. microprocessor the computer being backed-up or assisted by another circuit, e.g. analogue
Abstract
Description
1.車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されている記憶装置と、前記車両に搭載される第1実行装置と、車載装置とは別の第2実行装置と、を備え、前記車両の状態を検出するセンサの検出値を取得する状態取得処理と、前記電子機器を操作する操作処理と、前記状態取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、前記状態取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、前記車両に関する情報を取得する車両情報取得処理と、前記車両に関する情報に基づき、複数の前記車両を複数のグループに分類する分類処理と、を前記第1実行装置および前記第2実行装置の協働で実行し、前記第1実行装置は、少なくとも前記状態取得処理および前記操作処理を実行し、前記第2実行装置は、前記更新処理、前記車両情報取得処理、および前記分類処理を少なくとも実行し、前記操作処理は、前記更新処理によって更新された前記関係規定データと前記車両の状態とに応じて前記電子機器を操作する処理を含み、前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、前記更新処理は、分類された前記グループごとに前記関係規定データを更新すべく、同一のグループに属する複数の前記車両の状態、および該同一のグループに属する複数の前記車両の前記電子機器の操作に用いられた行動変数の値、および該操作に対応する前記報酬を前記更新写像への入力として前記第2実行装置によって実行される車両用制御システムである。
車両の消耗度合いに応じてユーザによる運転操作に対する車両の応答性が異なるものとなることなどから、車両の消耗度合いに応じて、車両の状態にとって適切な行動変数の値が異なりうる。そこで上記構成では、車両の消耗度合いによって車両を分類することにより、車両の消耗度合いに応じて適切な関係規定データに更新することが可能となる。
上記構成では、車両の位置情報に基づき車両を分類することにより、車両のおかれた環境の相違やユーザの運転嗜好の相違を考慮しつつ車両を分類することができる。
6.上記1〜4のいずれか1項に記載の前記第2実行装置を備える車両用学習装置である。
図1に、本実施形態にかかる車両VC1の駆動系および制御システムの構成を示す。
図1に示すように、内燃機関10の吸気通路12には、上流側から順にスロットルバルブ14および燃料噴射弁16が設けられており、吸気通路12に吸入された空気や燃料噴射弁16から噴射された燃料は、吸気バルブ18の開弁に伴って、シリンダ20およびピストン22によって区画される燃焼室24に流入する。燃焼室24内において、燃料と空気との混合気は、点火装置26の火花放電に伴って燃焼に供され、燃焼によって生じたエネルギは、ピストン22を介してクランク軸28の回転エネルギに変換される。燃焼に供された混合気は、排気バルブ30の開弁に伴って、排気として排気通路32に排出される。排気通路32には、排気を浄化する後処理装置としての触媒34が設けられている。
データ解析センター110は、複数の車両VC1,VC2,…から送信されるデータを解析する。データ解析センター110は、CPU112、ROM114、および電気的に書き換え可能な不揮発性メモリ(記憶装置116)、周辺回路118および通信機117を備えており、それらがローカルネットワーク119によって通信可能とされるものである。ROM114には、関係規定データDRを強化学習によって更新するための学習用メインプログラム114aが記憶されている。また、記憶装置116には、関係規定データDRが記憶されている。
なお、CPU112は、S28の処理が完了する場合やS22の処理において否定判定する場合には、図2(b)に示す一連の処理を一旦終了する。
これに対し、CPU72は、過渡フラグFが「1」であると判定する場合(S40:YES)、S44の処理の実行タイミングから所定期間が経過したか否かを判定する(S46)。ここで、所定期間は、アクセル操作量PAの単位時間当たりの変化量ΔPAの絶対値が所定量ΔPAthよりも小さい規定量以下となる状態が所定時間継続するまでの期間とする。CPU72は、所定期間が経過したと判定する場合(S46:YES)、過渡フラグFに「0」を代入する(S48)。
図4に、本実施形態にかかる強化学習の処理手順を示す。図4(a)に示す処理は、図1に示すROM74に記憶されている学習用サブプログラム74bをCPU72が実行することにより実現される。また、図4(b)に示す処理は、ROM114に記憶されている学習用メインプログラム114aをCPU112が実行することにより実現される。以下では、時系列に沿って、図4に示す処理を説明する。
すなわち、CPU72は、上記S74の処理によって読み出した各状態と対応する行動との組によって定まる収益R(Sj,Aj)に、それぞれ、報酬rを加算する(S84)。ここで、「R(Sj,Aj)」は、状態集合Sjの要素の1つを状態とし行動集合Ajの要素の1つを行動とする収益Rを総括した記載である。次に、上記S84の処理によって読み出した各状態と対応する行動との組によって定まる収益R(Sj,Aj)のそれぞれについて、平均化して対応する行動価値関数Q(Sj,Aj)に代入する(S86)。ここで、平均化は、S84の処理がなされた回数に所定数を加えた数によって、S84の処理によって算出された収益Rを除算する処理とすればよい。なお、収益Rの初期値は、車両VC1の出荷時における対応する行動価値関数Qの初期値とすればよい。
CPU72は、ユーザによるアクセルペダル86の操作に伴って、状態sとしてのアクセル操作量PAの時系列データを取得し、方策πに従って、スロットル開口度指令値TA*および遅角量aopからなる行動aを設定する。ここでは、基本的には、関係規定データDRに規定されている行動価値関数Qに基づき期待収益を最大とする行動aを選択する。ただし、CPU72は、所定の確率εで、期待収益を最大化する行動a以外の行動を選択することによって、期待収益を最大化する行動aの探索を行う。そして、CPU72は、状態s、行動aおよびトルクTrq、トルク指令値Trq*および加速度Gxをデータ解析センター110に送信する。
(1)クラスタリングのためのデータ集合の要素に、位置データPgpsを含めた。これにより、アクセルペダル86の操作が異なったものとなる要因として車両の消耗度合いとは別の要因である、地域に応じた燃料性状の相違や、ユーザの運転の仕方の相違を考慮しつつ分類をすることができる。
上記実施形態における事項と、上記「課題を解決するための手段」の欄に記載した事項との対応関係は、次の通りである。以下では、「課題を解決するための手段」の欄に記載した解決手段の番号毎に、対応関係を示している。[1,4,5,6]電子機器は、スロットルバルブ14や点火装置26に対応する。第1実行装置は、CPU72およびROM74に対応し、第2実行装置は、CPU112およびROM114に対応する。記憶装置は、記憶装置76,116に対応する。状態取得処理は、S32,S38の処理に対応する。操作処理は、S36の処理に対応する。報酬算出処理は、S76〜S80の処理に対応する。更新処理は、S84〜S90の処理に対応する。更新写像は、学習用メインプログラム114aによって定められたS84〜S90の処理によって規定される写像に対応する。車両情報取得処理は、S10の処理に対応する。分類処理は、S24の処理に対応する。[2]消耗度合いは、走行距離Ltによって定量化されている。[3]アクセル操作量の単位時間当たりの変化量の平均値に関する情報は、平均値ave(|ΔPA|)に対応する。
なお、本実施形態は、以下のように変更して実施することができる。本実施形態および以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
上記実施形態では、走行距離Lt、平均値ave(|ΔPA|)、分散var(|ΔPA|)、位置データPgps、外気温Tat、水温THWおよびモード変数MVの組データの集合を、クラスタリングの対象として取得する車両に関する情報としたが、これに限らない。たとえば、それら7個の変数については、そのうちの6個のみを用いて組データを生成してもよく、また、5個のみを用いて組データを生成したり、4個のみを用いて組データを生成したり、3個のみを用いて組データを生成したり、2個のみを用いて組データを生成したりしてもよい。また、たとえば1個のみクラスタリングの対象としてもよい。また、アクセル操作量PAの単位時間当たりの変化量ΔPAの絶対値の所定期間における平均値や分散を用いる代わりに、アクセル操作量PAの単位時間当たりの変化量ΔPAが正である場合に限った平均値や分散を用いてもよい。
上記実施形態では、K−meansクラスタリングをバッチ処理にて実行したが、これに限らず、オンライン学習としてもよい。
(イ)更新後のグリーディ行動がグループによって大きく変わる場合、その変数をグリーディ行動に大きく影響する変数とし、更新後のグリーディ行動がグループによってさほど変わらない場合、その変数をグリーディ行動への影響が小さい変数とする。
上記実施形態では、行動変数としてのスロットルバルブの開口度に関する変数として、スロットル開口度指令値TA*を例示したが、これに限らない。たとえば、アクセル操作量PAに対するスロットル開口度指令値TA*の応答性を、無駄時間および2次遅れフィルタにて表現し、無駄時間と、2次遅れフィルタを規定する2つの変数との合計3つの変数を、スロットルバルブの開口度に関する変数としてもよい。ただし、その場合、状態変数は、アクセル操作量PAの時系列データに代えて、アクセル操作量PAの単位時間当たりの変化量とすることが望ましい。
また、たとえば、下記「車両について」の欄に記載したように車両としてハイブリッド車や、電気自動車、燃料電池車を採用する場合、回転電機のトルクや出力を行動変数に加えてもよい。またたとえば、内燃機関のクランク軸の回転動力によって回転するコンプレッサを備えた車載空調装置を備える場合、コンプレッサの負荷トルクを行動変数に含めてもよい。また、電動式の車載空調装置を備える場合、空調装置の消費電力を行動変数に含めてもよい。
テーブル形式のデータの次元削減手法としては、上記実施形態において例示したものに限らない。たとえばアクセル操作量PAが最大値となることはまれであることから、アクセル操作量PAが規定量以上となる状態については行動価値関数Qを定義せず、アクセル操作量PAが規定量以上となる場合のスロットル開口度指令値TA*等は、別途適合してもよい。またたとえば、行動のとりうる値からスロットル開口度指令値TA*が規定値以上となるものを除くなどして、次元削減をしてもよい。
上記実施形態では、行動価値関数Qを、テーブル形式の関数としたが、これに限らない。たとえば、関数近似器を用いてもよい。
たとえば「関係規定データについて」の欄に記載したように、行動価値関数を関数近似器とする場合、上記実施形態におけるテーブル型式の関数の独立変数となる行動についての離散的な値の組の全てについて、状態sとともに行動価値関数Qに入力することによって、行動価値関数Qを最大化する行動aを選択すればよい。
S84〜S90の処理においては、εソフト方策オン型モンテカルロ法によるものを例示したが、これに限らない。たとえば、方策オフ型モンテカルロ法によるものであってもよい。もっとも、モンテカルロ法にも限らず、たとえば、方策オフ型TD法を用いたり、またたとえばSARSA法のように方策オン型TD法を用いたり、またたとえば、方策オン型の学習として適格度トレース法を用いたりしてもよい。
図4の処理では、条件(ア)および条件(イ)の論理積が真であるか否かに応じて報酬を与えたが、これに限らない。たとえば、条件(ア)を満たすか否かに応じて報酬を与える処理と、条件(イ)を満たすか否かに応じて報酬を与える処理とを実行してもよい。また、たとえば、条件(ア)を満たすか否かに応じて報酬を与える処理と、条件(イ)を満たすか否かに応じて報酬を与える処理との2つの処理に関しては、それらのうちのいずれか1つの処理のみを実行してもよい。
(b)変速装置の入力軸52の回転速度の変化速度の絶対値が入力側所定値以下である場合に入力側所定値を超える場合よりも大きい報酬を与える処理である。
また、たとえば「行動変数について」の欄に記載したように、回転電機のトルクや出力を行動変数とする場合、バッテリの充電率が所定範囲内にある場合にない場合よりも大きい報酬を与える処理や、バッテリの温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を含めてもよい。また、たとえば「行動変数について」の欄に記載したように、コンプレッサの負荷トルクや空調装置の消費電力を行動変数に含める場合、車室内の温度が所定範囲内にある場合にない場合よりも大きい報酬を与える処理を加えてもよい。
車両用制御システムとしては、制御装置70およびデータ解析センター110によって構成されるものに限らない。たとえば、制御装置70、携帯端末、およびデータ解析センター110によって構成してもよい。これは、携帯端末がS34の処理を実行するなどして実現できる。
実行装置としては、CPU72(112)とROM74(114)とを備えて、ソフトウェア処理を実行するものに限らない。たとえば、上記実施形態においてソフトウェア処理されたものの少なくとも一部を、ハードウェア処理するたとえばASIC等の専用のハードウェア回路を備えてもよい。すなわち、実行装置は、以下の(a)〜(c)のいずれかの構成であればよい。(a)上記処理の全てを、プログラムに従って実行する処理装置と、プログラムを記憶するROM等のプログラム格納装置とを備える。(b)上記処理の一部をプログラムに従って実行する処理装置およびプログラム格納装置と、残りの処理を実行する専用のハードウェア回路とを備える。(c)上記処理の全てを実行する専用のハードウェア回路を備える。ここで、処理装置およびプログラム格納装置を備えたソフトウェア実行装置や、専用のハードウェア回路は複数であってもよい。
上記実施形態では、関係規定データDRが記憶される記憶装置と、学習用サブプログラム74bや制御プログラム74aが記憶される記憶装置(ROM74)とを別の記憶装置としたが、これに限らない。また、関係規定データDRが記憶される記憶装置と、学習用メインプログラム114aが記憶される記憶装置(ROM114)とを別の記憶装置としたが、これに限らない。
内燃機関としては、燃料噴射弁として吸気通路12に燃料を噴射するポート噴射弁を備えるものに限らず、燃焼室24に燃料を直接噴射する筒内噴射弁を備えるものであってもよく、またたとえば、ポート噴射弁および筒内噴射弁の双方を備えるものであってもよい。
・「車両について」
車両としては、推力生成装置が内燃機関のみである車両に限らず、たとえば内燃機関と回転電機とを備えるいわゆるハイブリッド車両であってもよい。またたとえば、推力生成装置として、内燃機関を備えることなく、回転電機を備えるいわゆる電気自動車や燃料電池車あってもよい。
Claims (5)
- 車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されている記憶装置と、前記車両に搭載される第1実行装置と、車載装置とは別の第2実行装置と、を備え、
前記車両の状態を検出するセンサの検出値を取得する状態取得処理と、
前記電子機器を操作する操作処理と、
前記状態取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
前記状態取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
前記車両に関する情報を取得する車両情報取得処理と、
前記車両に関する情報に基づき、複数の前記車両を複数のグループに分類する分類処理と、
を前記第1実行装置および前記第2実行装置の協働で実行し、
前記第1実行装置は、少なくとも前記状態取得処理および前記操作処理を実行し、
前記第2実行装置は、前記更新処理、前記車両情報取得処理、および前記分類処理を少なくとも実行し、
前記操作処理は、前記更新処理によって更新された前記関係規定データと前記車両の状態とに応じて前記電子機器を操作する処理を含み、
前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
前記更新処理は、分類された前記グループごとに前記関係規定データを更新すべく、同一のグループに属する複数の前記車両の状態、および該同一のグループに属する複数の前記車両の前記電子機器の操作に用いられた行動変数の値、および該操作に対応する前記報酬を前記更新写像への入力として前記第2実行装置によって実行され、
前記車両情報取得処理は、前記車両に関する情報として、前記車両の消耗度合いを示す消耗度合い変数を取得する処理を含み、
前記分類処理は、前記消耗度合い変数に基づき、複数の前記車両を複数のグループに分類する処理を含む車両用制御システム。 - 車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されている記憶装置と、前記車両に搭載される第1実行装置と、車載装置とは別の第2実行装置と、を備え、
前記車両の状態を検出するセンサの検出値を取得する状態取得処理と、
前記電子機器を操作する操作処理と、
前記状態取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
前記状態取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
前記車両に関する情報を取得する車両情報取得処理と、
前記車両に関する情報に基づき、複数の前記車両を複数のグループに分類する分類処理と、
を前記第1実行装置および前記第2実行装置の協働で実行し、
前記第1実行装置は、少なくとも前記状態取得処理および前記操作処理を実行し、
前記第2実行装置は、前記更新処理、前記車両情報取得処理、および前記分類処理を少なくとも実行し、
前記操作処理は、前記更新処理によって更新された前記関係規定データと前記車両の状態とに応じて前記電子機器を操作する処理を含み、
前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
前記更新処理は、分類された前記グループごとに前記関係規定データを更新すべく、同一のグループに属する複数の前記車両の状態、および該同一のグループに属する複数の前記車両の前記電子機器の操作に用いられた行動変数の値、および該操作に対応する前記報酬を前記更新写像への入力として前記第2実行装置によって実行され、
前記車両情報取得処理は、前記車両に関する情報として、アクセル操作量の単位時間当たりの変化量の平均値に関する情報を取得する処理を含み、
前記分類処理は、前記アクセル操作量の単位時間当たりの変化量の平均値に関する情報に基づき、複数の前記車両を複数のグループに分類する処理を含む車両用制御システム。 - 車両の状態と前記車両内の電子機器の操作に関する変数である行動変数との関係を規定する関係規定データが記憶されている記憶装置と、前記車両に搭載される第1実行装置と、車載装置とは別の第2実行装置と、を備え、
前記車両の状態を検出するセンサの検出値を取得する状態取得処理と、
前記電子機器を操作する操作処理と、
前記状態取得処理によって取得された前記検出値に基づき、前記車両の特性が基準を満たす場合に満たさない場合よりも大きい報酬を与える報酬算出処理と、
前記状態取得処理によって取得された前記検出値に基づく前記車両の状態、前記電子機器の操作に用いられた前記行動変数の値、および該操作に対応する前記報酬を予め定められた更新写像への入力とし、前記関係規定データを更新する更新処理と、
前記車両に関する情報を取得する車両情報取得処理と、
前記車両に関する情報に基づき、複数の前記車両を複数のグループに分類する分類処理と、
を前記第1実行装置および前記第2実行装置の協働で実行し、
前記第1実行装置は、少なくとも前記状態取得処理および前記操作処理を実行し、
前記第2実行装置は、前記更新処理、前記車両情報取得処理、および前記分類処理を少なくとも実行し、
前記操作処理は、前記更新処理によって更新された前記関係規定データと前記車両の状態とに応じて前記電子機器を操作する処理を含み、
前記更新写像は、前記関係規定データに従って前記電子機器が操作される場合の前記報酬についての期待収益を増加させるように更新された前記関係規定データを出力するものであり、
前記更新処理は、分類された前記グループごとに前記関係規定データを更新すべく、同一のグループに属する複数の前記車両の状態、および該同一のグループに属する複数の前記車両の前記電子機器の操作に用いられた行動変数の値、および該操作に対応する前記報酬を前記更新写像への入力として前記第2実行装置によって実行され、
前記車両情報取得処理は、前記車両に関する情報として、前記車両の位置情報を取得する処理を含み、
前記分類処理は、前記車両の位置情報に基づき、複数の前記車両を複数のグループに分類する処理を含む車両用制御システム。 - 請求項1〜3のいずれか1項に記載の前記第1実行装置を備える車両用制御装置。
- 請求項1〜3のいずれか1項に記載の前記第2実行装置を備える車両用学習装置。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019191096A JP6809588B1 (ja) | 2019-10-18 | 2019-10-18 | 車両用制御システム、車両用制御装置、および車両用学習装置 |
US17/068,874 US11235781B2 (en) | 2019-10-18 | 2020-10-13 | Vehicle control system, vehicle controller, vehicle learning device, vehicle control method, and memory medium |
CN202011090299.6A CN112682202B (zh) | 2019-10-18 | 2020-10-13 | 车辆用控制系统、装置、控制方法以及存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019191096A JP6809588B1 (ja) | 2019-10-18 | 2019-10-18 | 車両用制御システム、車両用制御装置、および車両用学習装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020057698A Division JP2021067255A (ja) | 2020-03-27 | 2020-03-27 | 車両用制御システム、車両用制御装置、および車両用学習装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6809588B1 true JP6809588B1 (ja) | 2021-01-06 |
JP2021067195A JP2021067195A (ja) | 2021-04-30 |
Family
ID=73993052
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019191096A Active JP6809588B1 (ja) | 2019-10-18 | 2019-10-18 | 車両用制御システム、車両用制御装置、および車両用学習装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US11235781B2 (ja) |
JP (1) | JP6809588B1 (ja) |
CN (1) | CN112682202B (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6744597B1 (ja) * | 2019-10-18 | 2020-08-19 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE19527323A1 (de) * | 1995-07-26 | 1997-01-30 | Siemens Ag | Schaltungsanordnung zum Steuern einer Einrichtung in einem Kraftfahrzeug |
JPH10254505A (ja) * | 1997-03-14 | 1998-09-25 | Toyota Motor Corp | 自動制御装置 |
JPH10264505A (ja) | 1997-03-27 | 1998-10-06 | Mitsubishi Paper Mills Ltd | 油性インク用インクジェット記録シート |
JP2000250604A (ja) * | 1999-03-02 | 2000-09-14 | Yamaha Motor Co Ltd | 特性最適化方法における最適化の協調方法 |
US6549815B1 (en) | 1999-03-02 | 2003-04-15 | Yamaha Hatsudoki Kabushiki Kaisha | Method and apparatus for optimizing overall characteristics of device, using heuristic method |
JP3534642B2 (ja) | 1999-03-08 | 2004-06-07 | アルプス電気株式会社 | 回転型可変抵抗器 |
JP6026612B2 (ja) | 2015-09-22 | 2016-11-16 | 本田技研工業株式会社 | 車両用内燃機関の制御装置 |
US10427680B2 (en) * | 2016-02-19 | 2019-10-01 | Honda Motor Co., Ltd. | Control system for vehicle, and control method for vehicle |
US10755149B2 (en) * | 2017-05-05 | 2020-08-25 | Hrl Laboratories, Llc | Zero shot machine vision system via joint sparse representations |
JP6524144B2 (ja) * | 2017-06-02 | 2019-06-05 | 本田技研工業株式会社 | 車両制御システム及び方法、並びに走行支援サーバ |
JP2019144748A (ja) * | 2018-02-19 | 2019-08-29 | 株式会社デンソー | 情報処理システム、車載制御装置、及び情報処理装置 |
US10732639B2 (en) * | 2018-03-08 | 2020-08-04 | GM Global Technology Operations LLC | Method and apparatus for automatically generated curriculum sequence based reinforcement learning for autonomous vehicles |
JP6547991B1 (ja) * | 2019-02-20 | 2019-07-24 | トヨタ自動車株式会社 | 触媒温度推定装置、触媒温度推定システム、データ解析装置、および内燃機関の制御装置 |
JP6705547B1 (ja) * | 2019-10-18 | 2020-06-03 | トヨタ自動車株式会社 | 車両用制御装置、車両用制御システム、および車両用学習装置 |
US20210188276A1 (en) * | 2019-12-20 | 2021-06-24 | Toyota Jidosha Kabushiki Kaisha | Vehicle control data generating method, vehicle controller, vehicle control system, and vehicle learning device |
JP7136073B2 (ja) * | 2019-12-20 | 2022-09-13 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
JP7287287B2 (ja) * | 2020-01-09 | 2023-06-06 | トヨタ自動車株式会社 | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 |
JP2021116783A (ja) * | 2020-01-29 | 2021-08-10 | トヨタ自動車株式会社 | 車両用制御装置および車両用制御システム |
-
2019
- 2019-10-18 JP JP2019191096A patent/JP6809588B1/ja active Active
-
2020
- 2020-10-13 CN CN202011090299.6A patent/CN112682202B/zh active Active
- 2020-10-13 US US17/068,874 patent/US11235781B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20210114609A1 (en) | 2021-04-22 |
US11235781B2 (en) | 2022-02-01 |
CN112682202B (zh) | 2023-07-04 |
JP2021067195A (ja) | 2021-04-30 |
CN112682202A (zh) | 2021-04-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6744598B1 (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
JP6744597B1 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6809587B1 (ja) | 車両用制御装置 | |
JP7287287B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
CN112682203A (zh) | 车辆用控制装置、车辆用控制系统、车辆用学习装置、车辆用控制方法以及存储介质 | |
JP7314831B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021066240A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7331704B2 (ja) | 車両用制御データの生成方法、車両用制御装置、および車両用制御システム | |
CN113006951B (zh) | 车辆用控制数据的生成方法、车辆用控制装置、车辆用控制系统以及车辆用学习装置 | |
JP2021067197A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP6809588B1 (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
CN113217204B (zh) | 车辆控制方法、车辆用控制装置以及服务器 | |
JP2021067255A (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
CN113266481A (zh) | 车辆控制方法、车辆用控制装置以及服务器 | |
JP2021067257A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067258A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067259A (ja) | 車両用制御システム、車両用制御装置、および車両用学習装置 | |
JP7205460B2 (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067262A (ja) | 車両用制御データの生成方法、車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP7314813B2 (ja) | 車両制御方法、車両用制御装置及びサーバ | |
JP2021066417A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021067261A (ja) | 車両用制御装置、車両用制御システム、および車両用学習装置 | |
JP2021099059A (ja) | 車両用制御装置、車両用制御システム、車両用学習装置、および車両用学習方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191120 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191120 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200110 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200204 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200327 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200701 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200826 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201110 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201123 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6809588 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |