JP7469167B2

JP7469167B2 - 制御装置及び制御方法並びに車両

Info

Publication number: JP7469167B2
Application number: JP2020117307A
Authority: JP
Inventors: アディティヤマハジャン; 孝保熊野; 裕司安井
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2020-07-07
Filing date: 2020-07-07
Publication date: 2024-04-16
Anticipated expiration: 2040-07-07
Also published as: CN113911135B; CN113911135A; US20220009494A1; JP2022014769A

Description

本発明は、制御装置及び制御方法並びに車両に関する。

自動運転車両が実用化されてきている。自動運転車両では、車両の制御装置自体が特定の行動を実行するかどうかを判定する。特許文献１には、運転支援装置の車線変更の中止判断として、後続車両の後続車速に対して設定閾値以上であるかを判定したあと、後続車速が、より大きな閾値以上であるかを判定する技術が記載されている。

特開２０１６－００９２０１号公報

車両のような移動体の行動を開始するタイミングを決定するために、強化学習によって得られた評価関数を利用することが考えられる。評価関数の出力値、すなわち評価値が最大な動作を行うだけでは、適切なタイミングで行動を開始できるとは限らない。本発明の一部の側面は、移動体が特定の行動を開始するのに適したタイミングを決定するための技術を提供することを目的とする。

上記課題に鑑みて、移動体の制御装置であって、前記移動体の行動を計画する計画部と、第１評価値及び第２評価値を取得する取得部であって、前記第１評価値は、強化学習によって生成された評価関数を使用して、前記行動を開始しないことに対して算出された評価値であり、前記第２評価値は、前記評価関数を使用して、前記行動を開始することに対して算出された評価値であり、前記第２評価値が高いほど前記行動に成功する可能性が高い、取得部と、前記第１評価値に対する前記第２評価値の相対値を算出する算出部と、第１時刻において取得された前記第１評価値及び前記第２評価値が第１条件を満たし、かつ前記第１時刻よりも後の第２時刻において取得された前記第１評価値及び前記第２評価値が第２条件を満たした場合に、前記行動を開始すると判定する判定部と、を備え、前記第２条件は、前記第１条件よりも厳しく、前記第１条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第１閾値よりも大きいことを含み、前記第２条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第２閾値よりも大きいことを含み、前記第２閾値は、前記第１閾値よりも大きい、制御装置が提供される。

上記手段により、移動体が特定の行動を開始するのに適したタイミングを決定できる。

本発明の実施形態の車両の構成例を説明する図。本発明の実施形態の車両の制御装置の構成例を説明する図。本発明の実施形態の車両の制御方法の例を説明する図。本発明の実施形態の行動開始条件の例を説明する図。本発明の実施形態の車線変更の状況を説明する図。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴のうち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。

以下に説明する実施形態は、移動体の制御、特に移動体が行動を開始すべきかどうかの判定に関する。以下の実施形態では、移動体の一例として車両を扱う。しかし、以下の実施形態は、車両以外の移動体、例えば船舶、航空機、ドローンなどにも適用可能である。

図１は、本発明の一実施形態に係る車両１のブロック図である。図１において、車両１はその概略が平面図と側面図とで示されている。車両１は一例としてセダンタイプの四輪の乗用車である。車両１はこのような四輪車両であってもよいし、二輪車両や他のタイプの車両であってもよい。

車両１は、車両１を制御する車両用制御装置２（以下、単に制御装置２と呼ぶ）を含む。制御装置２は車内ネットワークにより通信可能に接続された複数のＥＣＵ２０～２９を含む。各ＥＣＵは、ＣＰＵに代表されるプロセッサ、半導体メモリ等のメモリ、外部デバイスとのインタフェース等を含む。メモリにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ＥＣＵはプロセッサ、メモリおよびインタフェース等を複数備えていてもよい。例えば、ＥＣＵ２０は、プロセッサ２０ａとメモリ２０ｂとを備える。メモリ２０ｂに格納されたプログラムが含む命令をプロセッサ２０ａが実行することによって、ＥＣＵ２０による処理が実行される。これに代えて、ＥＣＵ２０は、ＥＣＵ２０による処理を実行するためのＡＳＩＣ等の専用の集積回路を備えてもよい。他のＥＣＵについても同様である。

以下、各ＥＣＵ２０～２９が担当する機能等について説明する。なお、ＥＣＵの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、統合したりすることが可能である。

ＥＣＵ２０は、車両１の自動走行に関わる制御を実行する。自動運転においては、車両１の操舵と、加減速の少なくともいずれか一方を自動制御する。ＥＣＵ２０による自動走行は、運転者による走行操作を必要としない自動走行（自動運転とも呼ばれうる）と、運転者による走行操作を支援するための自動走行（運転支援とも呼ばれうる）とを含んでもよい。

ＥＣＵ２１は、電動パワーステアリング装置３を制御する。電動パワーステアリング装置３は、ステアリングホイール３１に対する運転者の運転操作（操舵操作）に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置３は操舵操作をアシストしたり、前輪を自動操舵したりするための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両１の運転状態が自動運転の場合、ＥＣＵ２１は、ＥＣＵ２０からの指示に対応して電動パワーステアリング装置３を自動制御し、車両１の進行方向を制御する。

ＥＣＵ２２および２３は、車両の周囲状況を検知する検知ユニット４１～４３の制御および検知結果の情報処理を行う。検知ユニット４１は、車両１の前方を撮影するカメラであり（以下、カメラ４１と表記する場合がある。）、本実施形態の場合、車両１のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ４１が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線（白線等）を抽出可能である。

検知ユニット４２は、ライダ（Light Detection and Ranging）であり（以下、ライダ４２と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、ライダ４２は５つ設けられており、車両１の前部の各隅部に１つずつ、後部中央に１つ、後部各側方に１つずつ設けられている。検知ユニット４３は、ミリ波レーダであり（以下、レーダ４３と表記する場合がある）、車両１の周囲の物標を検知したり、物標との距離を測距したりする。本実施形態の場合、レーダ４３は５つ設けられており、車両１の前部中央に１つ、前部各隅部に１つずつ、後部各隅部に一つずつ設けられている。

ＥＣＵ２２は、一方のカメラ４１と、各ライダ４２の制御および検知結果の情報処理を行う。ＥＣＵ２３は、他方のカメラ４１と、各レーダ４３の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。

ＥＣＵ２４は、ジャイロセンサ５、ＧＰＳセンサ２４ｂ、通信装置２４ｃの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ５は車両１の回転運動を検知する。ジャイロセンサ５の検知結果や、車輪速等により車両１の進路を判定することができる。ＧＰＳセンサ２４ｂは、車両１の現在位置を検知する。通信装置２４ｃは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ＥＣＵ２４は、メモリに構築された地図情報のデータベース２４ａにアクセス可能であり、ＥＣＵ２４は現在地から目的地へのルート探索等を行う。ＥＣＵ２４、地図データベース２４ａ、ＧＰＳセンサ２４ｂは、いわゆるナビゲーション装置を構成している。

ＥＣＵ２５は、車車間通信用の通信装置２５ａを備える。通信装置２５ａは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。

ＥＣＵ２６は、パワープラント６を制御する。パワープラント６は車両１の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ＥＣＵ２６は、例えば、アクセルペダル７Ａに設けた操作検知センサ７ａにより検知した運転者の運転操作（アクセル操作あるいは加速操作）に対応してエンジンの出力を制御したり、車速センサ７ｃが検知した車速等の情報に基づいて変速機の変速段を切り替えたりする。車両１の運転状態が自動運転の場合、ＥＣＵ２６は、ＥＣＵ２０からの指示に対応してパワープラント６を自動制御し、車両１の加減速を制御する。

ＥＣＵ２７は、方向指示器８（ウィンカ）を含む灯火器（ヘッドライト、テールライト等）を制御する。図１の例の場合、方向指示器８は車両１の前部、ドアミラーおよび後部に設けられている。

ＥＣＵ２８は、入出力装置９の制御を行う。入出力装置９は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置９１は運転者に対して音声により情報を報知する。表示装置９２は運転者に対して画像の表示により情報を報知する。表示装置９２は例えば運転席表面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル（例えば緊急度）に応じて、組み合わせを異ならせたり、報知態様を異ならせたりしてもよい。入力装置９３は運転者が操作可能な位置に配置され、車両１に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。

ＥＣＵ２９は、ブレーキ装置１０やパーキングブレーキ（不図示）を制御する。ブレーキ装置１０は例えばディスクブレーキ装置であり、車両１の各車輪に設けられ、車輪の回転に抵抗を加えることで車両１を減速あるいは停止させる。ＥＣＵ２９は、例えば、ブレーキペダル７Ｂに設けた操作検知センサ７ｂにより検知した運転者の運転操作（ブレーキ操作）に対応してブレーキ装置１０の作動を制御する。車両１の運転状態が自動運転の場合、ＥＣＵ２９は、ＥＣＵ２０からの指示に対応してブレーキ装置１０を自動制御し、車両１の減速および停止を制御する。ブレーキ装置１０やパーキングブレーキは車両１の停止状態を維持するために作動することもできる。また、パワープラント６の変速機がパーキングロック機構を備える場合、これを車両１の停止状態を維持するために作動することもできる。

図２を参照して、ＥＣＵ２０の機能ブロックの例について説明する。図２では、ＥＣＵ２０の機能のうち自動運転に関するものを記載する。ＥＣＵ２０は、行動計画部２０１と、環境取得部２０２と、評価関数記憶部２０３と、評価値算出部２０４と、評価値記憶部２０５と、開始判定部２０６と、走行制御部２０７とを含む。行動計画部２０１と、環境取得部２０２と、評価値算出部２０４と、開始判定部２０６と、走行制御部２０７とは、プロセッサ２０ａによって実現されてもよい。具体的に、これらの機能部の動作は、メモリ２０ｂに格納されたプログラムをプロセッサ２０ａが実行することによって行われてもよい。これにかえて、これらの機能部の一部又は全部は、ＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールドプログラマブルゲートアレイ）のような専用回路によって実現されてもよい。評価関数記憶部２０３と、評価値記憶部２０５とは、メモリ２０ｂによって実現されてもよい。

行動計画部２０１は、車両１の行動を計画する。行動計画部２０１によって計画される行動は、車線変更、右折、左折、自動ブレーキ、自動駐車など、車両１に関するどのような行動であってもよい。行動計画部２０１は、運転者からの指示に基づいて行動を計画してもよいし、走行予定（例えば、目的地への経路）に従って行動を計画してもよい。

環境取得部２０２は、車両１の走行環境に関する情報を取得する。車両１の走行環境に関する情報は、車両１の情報と、車両１の周囲の情報とを含んでもよい。車両１に関する情報として、動的な情報（現在の速度、現在の加速度、現在の地理的位置など）と、静的な情報（車両１の車長、車幅、重量など）とを含んでもよい。車両１に関する情報は、車両１の各アクチュエータに設置されたセンサからの出力に基づいて取得されてもよい。車両１の周囲の情報は、車両１の周囲にある動的オブジェクト（例えば、他の車両や歩行者など）に関する情報と、車両１にある静的オブジェクト（例えば、道路や信号機、交通標識など）とを含んでもよい。周囲の車両に関する情報は、個々の車両と車両１との相対的な関係（相対位置、相対速度、相対加速度など）を含んでもよい。周囲に関する情報は、車両１の検知ユニット４１～４３からの出力に基づいて取得されてもよい。

評価関数記憶部２０３は、車両１の行動に対する評価値を算出するための評価関数を記憶する。具体的に、この評価関数は、車両１に関する現在の走行環境と、この走行環境における車両の行動とを引数として、この行動に対する評価値を出力する。評価値が高いほど、特定の行動に成功する可能性が高い。例えば、車両１が車線変更を行う場合に、評価値が高い時刻で車線変更を開始する方が、評価値が低い時刻で車線変更を開始するよりも、車線変更に成功する可能性が高い。

評価関数は、事前の強化学習によって生成され、評価関数記憶部２０３に記憶されてもよい。評価関数は、車両１の製造時に評価関数記憶部２０３に記憶されてもよいし、車両１の販売後に評価関数記憶部２０３に記憶されてもよい。さらに、評価関数記憶部２０３に記憶された評価関数は、通信ネットワークを介して更新されてもよい。

評価関数は、例えば強化学習を行うことによって生成される。強化学習として、Ｑ学習が使用されてもよい。さらに、強化学習は、アンサンブル学習、例えばランダムフォレストを利用するものであってもよい。強化学習における環境として、環境取得部２０２が取得可能な種類の情報が使用されてもよい。これらの環境はシミュレーションによって生成されてもよい。

評価値算出部２０４は、評価関数記憶部２０３に記憶された評価関数を使用して、環境取得部２０２が取得した車両環境に対して、行動計画部２０１によって決定された行動を開始すること及び開始しないこと（待機すること）のそれぞれについて評価値を算出する。評価値算出部２０４は、算出した評価関数を評価値記憶部２０５に記憶する。この実施形態では、評価値算出部２０４が評価値を算出する。これにかえて、ＥＣＵ２０は、車両環境に関する情報を外部サーバに送信し、この外部サーバから評価値を受信することによって評価値を取得してもよい。この場合に、評価関数記憶部２０３は省略されてもよい。

開始判定部２０６は、評価値に基づいて、行動計画部２０１において決定された行動を開始するかどうかを判定する。走行制御部２０７は、開始判定部２０６で開始すると判定された行動を実現するために車両１の各アクチュエータの動作を制御する。具体的に、走行制御部２０７は、車両１の操舵と、加減速の少なくともいずれか一方を制御する。例えば、車線変更を開始すると判定された場合に、走行制御部２０７は、車両１の操舵と加減速との両方を制御することによって、隣接する車線に移動する。

図３を参照して、ＥＣＵ２０、具体的はその機能ユニットが行う制御方法の一例について説明する。この方法は、車両１の自動運転が開始することに応じて開始されてもよい。この方法は、車両１の自動運転が終了するまで繰り返し実行されてもよい。

ステップＳ３０１で、環境取得部２０２は、車両１の走行環境に関する情報を取得する。取得される情報の具体例は上述したとおりである。

ステップＳ３０２で、行動計画部２０１は、特定の行動を実行する必要があるかどうかを判定する。特定の行動を実行する必要があると判定された場合（ステップＳ３０２で「ＹＥＳ」）に、処理はステップＳ３０３に遷移し、それ以外の場合（ステップＳ３０２で「ＮＯ」）に、処理はステップＳ３０１に遷移する。ステップＳ３０１に遷移した場合には、走行環境に関する情報（前回の取得から何らかの時間が経過後の情報）が取得される。

例えば、行動計画部２０１は、目的地に向かうために、車両１を車線変更する必要があると判定してもよい。この場合に、特定の行動として、車線変更が計画される。また、行動計画部２０１は、駐車場で車両１を停車する必要があると判定してもよい。この場合に、特定の行動として、自動駐車機能の実行が計画される。

ステップＳ３０３で、評価値算出部２０４は、評価関数記憶部２０３に記憶されている評価関数を使用して、現在の走行環境に対して、特定の行動を現時点で開始することに対する評価値と、特定の行動を現時点で開始しないこと（言い換えると、待機すること）に対する評価値とを算出し、これらの評価値を評価値記憶部２０５に記憶する。現在の走行環境とは、ステップＳ３０１の直近の実行によって取得された走行環境のことである。特定の行動を開始することに対する評価値を開始評価値と呼ぶ。特定の行動を現時刻で開始しないこと（言い換えると、待機すること）に対する評価値を待機評価値と呼ぶ。

ステップＳ３０４で、開始判定部２０６は、複数の時刻において算出された開始評価値が所定の条件を満たすかどうかを判定する。所定の条件については後述する。各時刻に算出された開始評価値及び待機評価値は、ステップＳ３０３で評価値記憶部２０５に記憶されている。開始評価値が所定の条件を満たすと判定された場合（ステップＳ３０４で「ＹＥＳ」）に、処理はステップＳ３０５に遷移し、それ以外の場合（ステップＳ３０４で「ＮＯ」）に、処理はステップＳ３０１に遷移する。ステップＳ３０５で、走行制御部２０７は、特定の行動を開始する。そのため、ステップＳ３０４の所定の条件は、車両１が特定の行動を開始するための条件であるともいえる。そこで、ステップＳ３０４で判定される所定の条件を、以下では行動開始条件と呼ぶ。

ステップＳ３０４の実行の直近に評価値を算出した（すなわち、ステップＳ３０３を実行した）時刻とＴ２とし、時刻Ｔ２の前に評価値を算出した時刻をＴ１とする。時刻Ｔ２は、時刻Ｔ１の次に評価値を取得する時刻であってもよいし、時刻Ｔ１と時刻Ｔ２との間の別の時刻に評価値が取得されてもよい。以下では、時刻Ｔ１と時刻Ｔ２とが連続しているとする。行動開始条件は、時刻ｔ＝Ｔ１で算出された評価値が以下の式（１）の条件（以下、条件１と呼ぶ）を満たし、かつ時刻ｔ＝Ｔ２で算出された評価値が以下の式（２）の条件（以下、条件２と呼ぶ）を満たすことを含んでもよい。

式１

式２

式（１）及び式（２）について説明する。ｓ_tは、時刻ｔにおける走行環境を表す。ｓ_tはベクトル値であってもよい。ａ_tは、時刻ｔにおける動作を表す。特定の行動を開始する場合のａ_tの値をＳＴＡＲＴで表し、特定の行動を開始しない（待機する）場合のａ_tの値をＷＡＩＴで表す。Ｑ（ｓ_t，ａ_t）は、走行環境ｓ_tに対して動作ａ_tを行った場合の評価値を表す。強化学習がＱ学習であった場合に、この評価値はＱ値と呼ばれてもよい。式（１）の左辺及び式（２）の左辺は同じ値であり、待機評価値に対する開始評価値の相対値を示す。具体的に、左辺は、開始評価値と待機評価値との和に対する開始評価値の比率を表す。この比率を求める関数は、ソフトマックス関数と呼ばれる関数である。待機評価値に対する開始評価値の相対値は、ソフトマックス関数以外の関数を用いて算出されてもよい。

θ₁及びθ₂は、事前に決定された閾値である。θ₁＜θ₂を満たす。したがって、条件２は、条件１よりも厳しい条件となる。条件２が条件１よりも厳しいとは、条件２を満たすならば条件１も満たすことを意味する。このように、開始判定部２０６は、ある時刻（Ｔ１）で条件１を満たした後、次の時刻（Ｔ２）で条件１よりも厳しい条件２を満たした場合に、行動開始条件を満たすと判定する。この２段階の条件を含む行動開始条件を満たす場合に、車両１の走行環境は、特定の行動を開始するのに適する方向に変化しているといえる。そのため、開始判定部２０６は、１段階の条件で判定する場合と比較して、特定の行動を開始するのにより適したタイミングを決定できる。

図４を参照して、上述の行動開始条件についての具体例を説明する。図４のグラフの横軸は時刻であり、縦軸は式（１）の左辺及び式（２）の左辺（すなわち、待機評価値に対する開始評価値の相対値）である。時刻ｔ１、ｔ２、ｔ４は、条件１も条件２も満たさない。時刻ｔ５、ｔ６は、条件１を満たすものの、条件２を満たさない。時刻ｔ３、ｔ７は、条件１及び条件２をともに満たす。

時刻ｔ３では条件１及び条件２を満たすものの、その次の時刻ｔ４では条件２を満たさない。そのため、車両１の走行環境は、特定の行動を開始するのに適する方向に変化しているとはいえないので、開始判定部２０６は、特定の行動を開始するとは判定しない。時刻ｔ５で条件１を満し、その次の時刻ｔ６では条件１を満たすものの、条件２を満たさない。そのため、車両１の走行環境は、特定の行動を開始するのに適する方向に変化しているとはいえないので、開始判定部２０６は、特定の行動を開始するとは判定しない。時刻ｔ６で条件１を満し、その次の時刻ｔ７で、条件１よりも厳しい条件２を満たす。そのため、車両１の走行環境は、特定の行動を開始するのに適する方向に変化している可能性が高い。そこで、開始判定部２０６は、特定の行動を開始すると判定する。

上述の式１及び式２を使用した条件にかえて、又はこの条件に加えて、行動開始条件は、時刻ｔ＝Ｔ１で算出された評価値が以下の式（３）の条件（以下、条件３と呼ぶ）を満たし、かつ時刻ｔ＝Ｔ２で算出された評価値が以下の式（４）の条件（以下、条件４と呼ぶ）を満たすことを含んでもよい。

式３

式４

θ₃及びθ₄は、事前に決定された閾値である。θ₃＜θ₄を満たす。したがって、条件４は、条件３よりも厳しい条件となる。条件４が条件３よりも厳しいとは、条件４を満たすならば条件３も満たすことを意味する。この場合でも、開始判定部２０６は、ある時刻（Ｔ１）で条件３を満たした後、次の時刻（Ｔ２）で条件３よりも厳しい条件４を満たした場合に、行動開始条件を満たすと判定する。条件３及び条件４では、待機評価値に対する開始評価値の相対値ではなく、開始評価値そのものを閾値と比較する。

上述の例では、２つの連続した時刻における評価値を用いて行動開始条件を満たすかどうかを判定した。これにかえて、３つ以上の連続した又は不連続な時刻における評価値を用いて行動開始条件を満たすかどうかを判定してもよい。ステップＳ３０４で行動開始条件を満たさない間、ステップＳ３０１～ステップＳ３０４の処理が反復される。この反復において、特定の行動が必要なくなった場合に、ステップＳ３０２で「ＮＯ」となり、ステップＳ３０３及びステップＳ３０４の反復が終了する。例えば、特定の行動が車線変更である場合に、車線変更ができないまま分岐地点を過ぎてしまった場合には、もはや車線変更を行う必要がなくなる。この場合に、行動計画部２０１は、新たな行動を計画することになる。

図５を参照して、上述の制御方法のユースケースについて説明する。行動計画部２０１は、車両１が車線５０１を走行中に、隣接する車線５０２に車線変更することを計画する。車線５０２において、車両１の前方を車両５０３が走行しており、車両１の後方を車両５０４が走行している。

環境取得部２０２は、車両１の走行環境として、車両１の速度と、車両１に対する車両５０３の相対位置及び相対速度と、車両１に対する車両５０４の相対位置及び相対速度とを取得する。環境取得部２０２は、ＩＤＭ（Intelligent Driver Model）を利用して決定された車両５０３及び車両５０４の意図を車両１の走行環境としてさらに取得してもよい。車両５０３及び車両５０４の意図は、車両１に対する車両５０３及び車両５０４の相対加速度から決定されてもよい。

評価値算出部２０４は、車両１が車線５０１における走行を継続中に、車線変更を開始することに対する評価値と、車線変更を開始しないことに対する評価値とを繰り返し算出する。この評価値を算出するために使用される評価関数は、上述と同じ種類の走行環境を使用する強化学習によって得られた関数である。開始判定部２０６は、算出された評価値が上述の行動開始条件を満たした場合に、車線変更を開始すべきであると判定する。この判定に応じて、走行制御部２０７は、車線変更を開始する。

＜実施形態のまとめ＞
［項目１］
移動体（１）の制御装置（２０）であって、
前記移動体の行動を計画する計画部（２０１）と、
前記行動を開始することの評価値を取得する取得部（２０４）と、
第１時刻において取得された前記評価値が第１条件を満たし、かつ前記第１時刻よりも後の第２時刻において取得された前記評価値が第２条件を満たした場合に、前記行動を開始すると判定する判定部（２０６）と、を備え、
前記第２条件は、前記第１条件よりも厳しい、制御装置。
この項目によれば、移動体が特定の行動を開始するのに適したタイミングを決定できる。
［項目２］
前記第２時刻は、前記第１時刻の次に前記評価値を取得する時刻である、項目１に記載の制御装置。
この項目によれば、移動体が特定の行動を開始するのに適したタイミングを一層精度よく決定できる。
［項目３］
前記判定部は、前記行動を開始しないことの評価値に対する、前記行動を開始することの評価値の相対値を取得し、
前記第１条件は、前記第１時刻についての前記相対値が第１閾値よりも大きいことを含み、
前記第２条件は、前記第２時刻についての前記相対値が第２閾値よりも大きいことを含み、
前記第２閾値は、前記第１閾値よりも大きい、項目１又は２に記載の制御装置。
この項目によれば、移動体が特定の行動を開始するのに適したタイミングを一層精度よく決定できる。
［項目４］
前記相対値は、ソフトマックス関数を用いて算出される、項目３に記載の制御装置。
この項目によれば、移動体が特定の行動を開始するのに適したタイミングを一層精度よく決定できる。
［項目５］
前記第１条件は、前記第１時刻において前記行動を開始することの評価値が第３閾値よりも大きいことを含み、
前記第２条件は、前記第２時刻において前記行動を開始することの評価値が第４閾値よりも大きいことを含み、
前記第４閾値は、前記第３閾値よりも大きい、項目１又は２に記載の制御装置。
この項目によれば、移動体が特定の行動を開始するのに適したタイミングを一層精度よく決定できる。
［項目６］
前記行動は、車線変更を含む、項目１乃至５の何れか１項に記載の制御装置。
この項目によれば、車線変更を開始するのに適したタイミングを一層精度よく決定できる。
［項目７］
項目１乃至６の何れか１項に記載の制御装置を備える車両（１）。
この項目によれば、上記の利点を有する車両が提供される。
［項目８］
コンピュータを、項目１乃至６の何れか１項に記載の制御装置として機能させるためのプログラム。
この項目によれば、上記の利点を有するプログラムが提供される。
［項目９］
移動体（１）の制御方法であって、
前記移動体の行動を計画すること（Ｓ３０２）と、
前記行動を開始することの評価値を取得すること（Ｓ３０３）と、
第１時刻において取得された前記評価値が第１条件を満たし、かつ前記第１時刻よりも後の第２時刻において取得された前記評価値が第２条件を満たした場合に、前記行動を開始すると判定すること（Ｓ３０４）と、を備え、
前記第２条件は、前記第１条件よりも厳しい、制御方法。
この項目によれば、移動体が特定の行動を開始するのに適したタイミングを決定できる。

発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。

１車両、２０ＥＣＵ、２０１行動計画部、２０２環境取得部、２０３評価関数記憶部、２０４評価値算出部、２０５評価値記憶部、２０６開始判定部、２０７走行制御部

Claims

移動体の制御装置であって、
前記移動体の行動を計画する計画部と、
第１評価値及び第２評価値を取得する取得部であって、前記第１評価値は、強化学習によって生成された評価関数を使用して、前記行動を開始しないことに対して算出された評価値であり、前記第２評価値は、前記評価関数を使用して、前記行動を開始することに対して算出された評価値であり、前記第２評価値が高いほど前記行動に成功する可能性が高い、取得部と、
前記第１評価値に対する前記第２評価値の相対値を算出する算出部と、
第１時刻において取得された前記第１評価値及び前記第２評価値が第１条件を満たし、かつ前記第１時刻よりも後の第２時刻において取得された前記第１評価値及び前記第２評価値が第２条件を満たした場合に、前記行動を開始すると判定する判定部と、を備え、
前記第２条件は、前記第１条件よりも厳しく、
前記第１条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第１閾値よりも大きいことを含み、
前記第２条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第２閾値よりも大きいことを含み、
前記第２閾値は、前記第１閾値よりも大きい、制御装置。
前記判定部は、前記第１時刻において取得された前記第１評価値及び前記第２評価値が前記第１条件を満たさず、かつ前記第２時刻において取得された前記第１評価値及び前記第２評価値が前記第２条件を満たした場合に、前記行動を開始しないと判定する、請求項１に記載の制御装置。
前記判定部は、前記第１時刻において取得された前記第１評価値及び前記第２評価値が前記第１条件を満たし、かつ前記第２時刻において取得された前記第１評価値及び前記第２評価値が前記第２条件を満たさなかった場合に、前記行動を開始しないと判定する、請求項１又は２に記載の制御装置。
前記判定部は、前記第１時刻において取得された前記第１評価値及び前記第２評価値が前記第１条件を満たさず、かつ前記第２時刻において取得された前記第１評価値及び前記第２評価値が前記第２条件を満たさなかった場合に、前記行動を開始しないと判定する、請求項１乃至３の何れか１項に記載の制御装置。
前記取得部は、前記第１評価値及び前記第２評価値を繰り返し取得し、
前記第２時刻は、前記第１評価値及び前記第２評価値の取得の繰り返しにおいて前記取得部が前記第１時刻の次に前記第１評価値及び第２評価値を取得する時刻である、請求項１乃至４の何れか１項に記載の制御装置。
前記相対値は、ソフトマックス関数を用いて算出される、請求項１乃至５の何れか１項に記載の制御装置。
前記行動は、車線変更を含む、請求項１乃至６の何れか１項に記載の制御装置。
請求項１乃至７の何れか１項に記載の制御装置を備える車両。
移動体のプロセッサに、
前記移動体の行動を計画することと、
第１評価値及び第２評価値を取得することであって、前記第１評価値は、強化学習によって生成された評価関数を使用して、前記行動を開始しないことに対して算出された評価値であり、前記第２評価値は、前記評価関数を使用して、前記行動を開始することに対して算出された評価値であり、前記第２評価値が高いほど前記行動に成功する可能性が高い、ことと、
前記第１評価値に対する前記第２評価値の相対値を算出することと、
第１時刻において取得された前記第１評価値及び前記第２評価値が第１条件を満たし、かつ前記第１時刻よりも後の第２時刻において取得された前記第１評価値及び前記第２評価値が第２条件を満たした場合に、前記行動を開始すると判定することと、を実行させるためのプログラムであって、
前記第２条件は、前記第１条件よりも厳しく、
前記第１条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第１閾値よりも大きいことを含み、
前記第２条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第２閾値よりも大きいことを含み、
前記第２閾値は、前記第１閾値よりも大きい、プログラム。
移動体の制御方法であって、
前記移動体の行動を計画することと、
第１評価値及び第２評価値を取得することであって、前記第１評価値は、強化学習によって生成された評価関数を使用して、前記行動を開始しないことに対して算出された評価値であり、前記第２評価値は、前記評価関数を使用して、前記行動を開始することに対して算出された評価値であり、前記第２評価値が高いほど前記行動に成功する可能性が高い、ことと、
前記第１評価値に対する前記第２評価値の相対値を算出することと、
第１時刻において取得された前記第１評価値及び前記第２評価値が第１条件を満たし、かつ前記第１時刻よりも後の第２時刻において取得された前記第１評価値及び前記第２評価値が第２条件を満たした場合に、前記行動を開始すると判定することと、を備え、
前記第２条件は、前記第１条件よりも厳しく、
前記第１条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第１閾値よりも大きいことを含み、
前記第２条件は、前記第１評価値及び前記第２評価値について算出された前記相対値が第２閾値よりも大きいことを含み、
前記第２閾値は、前記第１閾値よりも大きい、制御方法。