JP7415990B2 - 走行制御装置および走行制御方法 - Google Patents
走行制御装置および走行制御方法 Download PDFInfo
- Publication number
- JP7415990B2 JP7415990B2 JP2021044544A JP2021044544A JP7415990B2 JP 7415990 B2 JP7415990 B2 JP 7415990B2 JP 2021044544 A JP2021044544 A JP 2021044544A JP 2021044544 A JP2021044544 A JP 2021044544A JP 7415990 B2 JP7415990 B2 JP 7415990B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- proposal
- behavior
- lane
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 13
- 230000008859 change Effects 0.000 claims description 84
- 238000012790 confirmation Methods 0.000 claims description 84
- 238000001514 detection method Methods 0.000 claims description 21
- 230000009471 action Effects 0.000 claims description 20
- 230000006399 behavior Effects 0.000 description 45
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000002093 peripheral effect Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000013527 convolutional neural network Methods 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 4
- 230000007246 mechanism Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 210000001747 pupil Anatomy 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18163—Lane change; Overtaking manoeuvres
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Description
本発明は、車両の走行を自動的に制御する走行制御装置および走行制御方法に関する。
車両に搭載されたカメラにより生成された周辺画像に基づいて、車線変更（ＬＣ）といった車両の走行を自動的に制御する走行制御装置が知られている。
特許文献１には、ＬＣを運転者に提案し、運転者が車両周辺の安全状況を確認する行動（周辺確認行動）を行ったと判定されることを条件としてＬＣを開始する走行制御装置が記載されている。
周辺確認行動を行った後にＬＣ提案があった場合に、ＬＣの実行に再び周辺確認行動を要求されることは、運転者にとって煩わしい。
本発明は、運転者に煩わしさを感じさせないように車両の走行を制御することができる走行制御装置を提供することを目的とする。
本発明にかかる走行制御装置は、車両の運転者の顔を表す画像から、運転者が車両の周辺を確認する周辺確認行動を検出する検出部と、周辺確認行動が検出された時刻を記録する記録部と、運転者に車両が走行する車線を隣接する車線に変更する車線変更の提案を通知する提案部と、車線変更の提案が通知された時刻より前の事前確認期間に周辺確認行動が検出されている場合、車線変更の提案が通知された時刻より後の提案後確認期間に周辺確認行動が検出されるか否かにかかわらず車両に車線変更を実行させる実行部と、を備える。
本発明にかかる走行制御装置において、実行部は、事前確認期間に周辺確認行動が検出されていない場合、提案後確認期間に周辺確認行動が検出されることを条件として車両に車線変更を実行させることが好ましい。
本発明にかかる走行制御装置において、検出部は、周辺確認行動において運転者が確認する車両の周囲の方向を検出し、記録部は、周辺確認行動における方向をさらに記録し、実行部は、周辺確認行動のうち記録された方向が走行する車線から変更先の車線に向かう方向に対応する周辺確認行動が事前確認期間に検出された場合、車両に車線変更を実行させることが好ましい。
本発明にかかる走行制御装置において、提案部は、事前確認期間に周辺確認行動が検出されている場合、提案後確認期間に周辺確認行動が検出されるか否かにかかわらず車線変更が実行されることを運転者に通知することが好ましい。
本発明にかかる走行制御方法は、車両の運転者の顔を表す画像から、運転者が車両の周辺を確認する周辺確認行動を検出し、周辺確認行動が検出された時刻を記録し、運転者に車両が走行する車線を隣接する車線に変更する車線変更の提案を通知し、車線変更の提案が通知された時刻より前の事前確認期間に周辺確認行動が検出されている場合、車線変更の提案が通知された時刻より後の提案後確認期間に周辺確認行動が検出されるか否かにかかわらず車両に車線変更を実行させる、ことを含む。
本発明にかかる走行制御装置によれば、運転者に煩わしさを感じさせないように車両の走行を制御することができる。
以下、図面を参照して、運転者に煩わしさを感じさせないように車両の走行を制御することができる走行制御装置について詳細に説明する。走行制御装置は、車両の運転者の顔を表す画像から、運転者が車両の周辺を確認する周辺確認行動を検出する。また、走行制御装置は、周辺確認行動が検出された時刻を記録する。続いて、走行制御装置は、運転者に車両が走行する車線を隣接する車線に変更する車線変更の提案を通知する。そして、走行制御装置は、車線変更の提案が通知された時刻より前の事前確認期間に周辺確認行動が検出されている場合、車線変更の提案が通知された時刻より後の提案後確認期間に周辺確認行動が検出されるか否かにかかわらず車両に車線変更を実行させる。
図１は、走行制御装置が実装される車両の概略構成図である。
車両１は、周辺カメラ２と、ドライバモニタカメラ３と、走行制御装置４とを有する。周辺カメラ２およびドライバモニタカメラ３と、走行制御装置４とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。
周辺カメラ２は、車両の周辺が表された周辺画像を生成するための周辺撮影部の一例である。周辺カメラ２は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。周辺カメラ２は、例えば車室内の前方上部に、前方を向けて配置され、所定の撮影周期（例えば1/30秒～1/10秒）ごとにフロントガラスを介して車両１の周辺の状況を撮影し、周辺の状況が表された周辺画像を出力する。
ドライバモニタカメラ３は、車両の運転者の顔領域を表す顔画像を生成するための運転者撮影部の一例である。ドライバモニタカメラ３は、ＣＣＤあるいはＣ－ＭＯＳなど、赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上の撮影対象となる領域の像を結像する結像光学系とを有する。また、ドライバモニタカメラ３は、赤外光を発する光源を有する。ドライバモニタカメラ３は、例えば車室内の前方に、運転者シートに着座する運転者の顔に向けて取り付けられる。ドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに運転者に赤外光を照射し、運転者の顔が写った画像を出力する。
走行制御装置４は、通信インタフェースと、メモリと、プロセッサとを有するＥＣＵ（Electronic Control Unit）である。走行制御装置４は、所定の安全基準を満たすように車両１のエンジン、ブレーキ、ステアリングといった走行機構（不図示）に制御信号を出力し、車両１の自動運転制御を実行する。また、走行制御装置４は、通信インタフェースを介してドライバモニタカメラ３から受信する顔画像から運転者の周辺確認行動を検出し、周辺確認行動が検出されたときの時刻を記録する。そして、走行制御装置４は、周辺確認行動が検出されたときの時刻に応じて車両１の車線変更を制御する。
図２は、走行制御装置４のハードウェア模式図である。走行制御装置４は、通信インタフェース４１と、メモリ４２と、プロセッサ４３とを備える。
通信インタフェース４１は、通信部の一例であり、走行制御装置４を車内ネットワークへ接続するための通信インタフェース回路を有する。通信インタフェース４１は、受信したデータをプロセッサ４３に供給する。また、通信インタフェース４１は、プロセッサ４３から供給されたデータを外部に出力する。
メモリ４２は、記憶部の一例であり、揮発性の半導体メモリおよび不揮発性の半導体メモリを有する。メモリ４２は、プロセッサ４３による処理に用いられる各種データ、例えば顔画像から周辺確認行動を検出するための条件、周辺画像から物体を検出する物体識別器として動作するニューラルネットワークを規定するためのパラメータ群、周辺確認行動が検出された時刻等を保存する。また、メモリ４２は、各種アプリケーションプログラム、例えば走行制御処理を実行する走行制御プログラム等を保存する。
プロセッサ４３は、制御部の一例であり、１以上のプロセッサおよびその周辺回路を有する。プロセッサ４３は、論理演算ユニット、数値演算ユニット、またはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。
図３は、走行制御装置４が有するプロセッサ４３の機能ブロック図である。
走行制御装置４のプロセッサ４３は、機能ブロックとして、検出部４３１と、記録部４３２と、提案部４３３と、実行部４３４とを有する。プロセッサ４３が有するこれらの各部は、プロセッサ４３上で実行されるプログラムによって実装される機能モジュールである。あるいは、プロセッサ４３が有するこれらの各部は、独立した集積回路、マイクロプロセッサ、またはファームウェアとして走行制御装置４に実装されてもよい。
検出部４３１は、通信インタフェースを介してドライバモニタカメラ３から受信する顔画像から、運転者が車両の周辺を確認する周辺確認行動を検出する。検出部４３１は、例えば瞳孔および光源の角膜反射像が表されたテンプレートと顔画像との間でテンプレートマッチングを行うことで瞳孔および光源の角膜反射像を検出し、それらの位置関係に基づいて視線方向を検出する。視線方向は、車両１の進行方向と運転者の視線との間の水平方向の角度により表される。そして、検出部４３１は、運転者の視線方向が車両１の周辺を向いている場合（例えば進行方向に対して３０度以上）、運転者による周辺確認行動を検出する。
検出部４３１は、顔画像から検出された運転者の顔向き角度と車両１の進行方向との間の水平方向の角度が所定の角度閾値よりも大きい場合に、運転者による周辺確認行動を検出してもよい。この場合、検出部４３１は、顔画像を目尻、目頭、口角点といった顔の所定部位を検出するよう学習された顔部位識別器に入力することにより、顔画像に含まれる所定部位の位置を特定する。また、検出部４３１は、顔画像から検出された所定部位の位置を標準的な顔の３次元モデルと照合する。そして、検出部４３１は、各部位の位置が顔画像から検出された部位の位置と最も適合する際の３次元モデルにおける顔向き角度を、顔画像における顔向き角度として検出する。
顔部位識別器は、例えば、入力側から出力側に向けて直列に接続された複数の畳み込み層を有する畳み込みニューラルネットワーク（ＣＮＮ）とすることができる。予め顔画像を教師データとして用いてＣＮＮに入力し、学習を行うことにより、ＣＮＮは顔画像から顔の所定部位を検出する顔部位識別器として動作する。
検出部４３１は、視線方向または顔向き角度を、周辺確認行動において運転者が確認する車両１の周囲の方向として検出する。
記録部４３２は、周辺確認行動が検出された時刻をメモリ４２に記録する。記録部４３２は、検出されたことを示すデータと検出された時刻とを関連づけてメモリ４２に一定時間保持してもよい。また、記録部４３２は、ドライバモニタカメラ３から時系列に受信する複数の顔画像のそれぞれについて、撮影時刻および周辺確認行動の検出の有無を関連づけてメモリ４２に記録してもよい。さらに、記録部４３２は、周辺確認行動における方向を記録してもよい。
提案部４３３は、運転者に車両１が走行する車線を隣接する車線に変更する車線変更の提案を通知する。提案部４３３は、車線変更のための走行経路を作成し、例えば通信インタフェース４１を介して接続される不図示のメーターディスプレイに、車線変更の提案を表す画像を表示させる。車線変更の提案を表す画像は、例えば「車線変更予定です」といった文字列、または現在の車線から隣接する車線への走行経路を示す図を含む画像である。また、提案部４３３は、例えば通信インタフェース４１を介して接続される不図示のスピーカに、車線変更の提案を表す音声を再生させてもよい。
提案部４３３は、車線変更が必要な状況であるか否かを判定し、車線変更が必要な状況であると判定された場合に車線変更の提案を通知する。例えば、提案部４３３は、通信インタフェース４１を介して周辺カメラ２から受信する周辺画像から、車両１が走行する道路に設けられた車線区画線および車両１の周囲を走行する他車両を検出する。提案部４３３は、例えば車両１が走行する車線の前方を走行する他車両との間隔が逓減して間隔閾値よりも小さくなった場合、隣接する車線への車線変更の提案を運転者に通知する。
また、提案部４３３は、予め定められた走行経路に従った走行（例えば側道への分岐）のために車線変更が必要となる位置の手前で、車線変更の提案を通知する。
提案部４３３は、さらに、提案した車線変更が実行部４３４により実行されるか否かを運転者に通知してもよい。例えば、提案部４３３は、メーターディスプレイに「車線変更が実行されます」「車線変更がキャンセルされました」といった文字列を含む画像を表示させる。また、提案部４３３は、スピーカから「車線変更が実行されます」「車線変更がキャンセルされました」といった音声を再生させてもよい。
実行部４３４は、事前確認期間に周辺確認行動が検出されている場合、提案後確認期間に周辺確認行動が検出されるか否かにかかわらず車両１に車線変更を実行させる。事前確認期間は、車線変更の提案された時刻より前における所定時間（例えば５秒）の長さの期間である。事前確認期間は、車線変更の提案された時刻から所定時間前までの期間であってもよい。提案後確認期間は、車線変更の提案された時刻より後における所定時間（例えば５秒）の長さの期間である。提案後確認期間は、車線変更の提案された時刻から所定時間後までの期間であってもよい。なお、事前確認期間の長さと提案後確認期間の長さとは同じでなくてもよい。
実行部４３４は、車線変更のための走行経路に従って車両１が走行するように、通信インタフェース４１を介して車両１の走行機構（不図示）に制御信号を出力する。走行機構には、例えば車両１に動力を供給するエンジン、車両１の走行速度を減少させるブレーキ、および車両１を操舵するステアリング機構が含まれる。
実行部４３４は、事前確認期間に周辺確認行動が検出されていない場合、提案後確認期間に周辺確認行動が検出されることを条件として車両１に車線変更を実行させてもよい。
実行部４３４は、事前確認期間に検出された周辺確認行動における方向が、車両１が現在走行している車線から変更先の車線に向かう方向に対応するか否かを判定してもよい。この場合、実行部４３４は、周辺確認行動における方向と車両１が現在走行している車線から変更先の車線に向かう方向とがなす角度が所定の角度閾値よりも小さい場合、車両１に車線変更を実行させる。また、実行部４３４は、周辺確認行動における方向が、車両１が現在走行している車線から変更先の車線に向かう方向でない場合、車両１に車線変更を実行させない。
図４は、走行制御の概要を説明する模式図である。
図４において、提案部４３３は車線変更の提案を時刻ｔ２に通知する。時刻ｔ１は時刻ｔ２より前の事前確認期間Ｐ１に含まれ、時刻ｔ３は時刻ｔ２より前の提案後確認期間Ｐ２に含まれる。
時刻ｔ１において、車両１および他車両１００は車線Ｌ１を走行している。時刻ｔ１において、車両１の運転者Ｄは、車線Ｌ１から隣接車線Ｌ２に向かう方向Ｄ１に視線を向けている。検出部４３１は、事前確認期間Ｐ１における運転者の周辺確認行動を検出する。
時刻ｔ３において、車両１および他車両１００は車線Ｌ１を走行している。時刻ｔ２において、車両１の運転者Ｄは、車線Ｌ１の前方に向かう方向Ｄ２に視線を向けている。検出部４３１は、提案後確認期間Ｐ２における運転者の周辺確認行動を検出しない。
実行部４３４は、事前確認期間Ｐ１に周辺確認行動が検出されているため、提案後確認期間に周辺確認行動が検出されているか否かにかかわらず車両１に車線変更を実行させ、将来位置１′に向けて走行させる。
図５は、第１の走行制御処理のフローチャートである。走行制御装置４は、車両１が走行する間、第１の走行制御処理を所定の時間間隔（例えば1/10秒間隔）で繰り返し実行する。
まず、走行制御装置４の検出部４３１は、ドライバモニタカメラ３により生成された顔画像から、周辺確認行動を検出する（ステップＳ１１）。
周辺確認行動が検出された場合（ステップＳ１１：Ｙ）、走行制御装置４の記録部４３２は、周辺確認行動が検出された時刻を記録し（ステップＳ１２）、第１の走行制御処理を終了する。また、周辺確認行動が検出されない場合（ステップＳ１１：Ｎ）、走行制御装置４の検出部４３１は、周辺確認行動が検出された時刻を記録することなく第１の走行制御処理を終了する。
図６は、第２の走行制御処理のフローチャートである。走行制御装置４は、車両１が自動運転制御により走行する間、第２の走行制御処理を所定の時間間隔（例えば1/10秒間隔）で繰り返し実行する。
走行制御装置４の提案部４３３は、車線変更が必要な状況であるか否かを判定し（ステップＳ２１）、車線変更が必要な状況でないと判定された場合（ステップＳ２１：Ｎ）、第２の走行制御処理を終了する。
車線変更が必要な状況であると判定された場合（ステップＳ２１：Ｙ）、提案部４３３は、車線変更の提案を通知する（ステップＳ２２）。
次に、実行部４３４は、事前確認期間に周辺確認行動が検出されたか否かを判定する（ステップＳ２３）。前確認期間に周辺確認行動が検出されないと判定された場合（ステップＳ２３：Ｎ）、実行部４３４は、提案後確認期間に周辺確認行動が検出されたか否かを判定し（ステップＳ２４）、提案後確認期間に周辺確認行動が検出されないと判定された場合（ステップＳ２４：Ｎ）、第２の走行制御を終了する。
事前確認期間に周辺確認行動が検出されたと判定された場合（ステップＳ２３：Ｙ）、または、提案後確認期間に周辺確認行動が検出されたと判定された場合（ステップＳ２４：Ｙ）、実行部４３４は車線変更を実行し（ステップＳ２５）、第２の走行制御処理を終了する。
事前確認期間に周辺確認行動が検出されたと判定された場合（ステップＳ２３：Ｙ）、実行部４３４は車線変更の実行（ステップＳ２５）に先立って、提案後確認期間に周辺確認行動が検出されるか否かにかかわらず車線変更が実行されることを運転者に通知してもよい。
このように第１および第２の走行制御処理を実行することにより、走行制御装置４は、運転者に煩わしさを感じさせないように車両の走行を制御することができる。
変形例によれば、実行部４３４は、周辺カメラ２から受信した周辺画像から車線変更の提案後に新たな他車両が検出されるなどによる周辺状況の変化の有無を検出する。車線変更提案後の周辺状況の変化が検出された場合、実行部４３４は、事前確認期間に周辺確認行動が検出された場合であっても車線変更を実行しない。この場合において、提案部４３３は、周辺確認行動を行うよう運転者に通知してもよい。
異なる変形例によれば、提案部４３３は、時間の経過により安全性が変動しない状況での車線変更の提案を通知する場合においては、時間の経過により安全性が変動する状況での車線変更の提案を通知する場合よりも、事前確認期間を長く設定する。時間の経過により安全性が変動しない状況での車線変更とは、例えば後続車両が接近する可能性のない側道への車線変更である。時間の経過により安全性が変動する状況での車線変更とは、例えば後続車両が接近する可能性のある追越車線への車線変更である。
さらに異なる変形例によれば、提案部４３３は、周辺カメラ２から受信した周辺画像から周辺の他車両の数を検出する。そして、提案部４３３は、他車両の数が多いときに車線変更の提案を通知する場合においては、他車両の数が少ないときに車線変更の提案を通知する場合よりも、事前確認期間を短く設定する。
当業者は、本発明の精神および範囲から外れることなく、種々の変更、置換および修正をこれに加えることが可能であることを理解されたい。
１ 車両
４ 走行制御装置
４３１ 検出部
４３２ 記録部
４３３ 提案部
４３４ 実行部
４ 走行制御装置
４３１ 検出部
４３２ 記録部
４３３ 提案部
４３４ 実行部
Claims (5)
- 車両の運転者の顔を表す画像から、前記運転者が前記車両の周辺を確認する周辺確認行動を検出する検出部と、
前記周辺確認行動が検出された時刻を記録する記録部と、
前記運転者に前記車両が走行する車線を隣接する車線に変更する車線変更の提案を通知する提案部と、
前記車線変更の提案が通知された時刻より前の事前確認期間に前記周辺確認行動が検出されている場合、前記車線変更の提案が通知された時刻より後の提案後確認期間に前記周辺確認行動が検出されるか否かにかかわらず前記車両に前記車線変更を実行させる実行部と、
を備える走行制御装置。 - 前記実行部は、前記事前確認期間に前記周辺確認行動が検出されていない場合、前記提案後確認期間に前記周辺確認行動が検出されることを条件として前記車両に前記車線変更を実行させる、請求項１に記載の走行制御装置。
- 前記検出部は、前記周辺確認行動において運転者が確認する車両の周囲の方向を検出し、
前記記録部は、前記周辺確認行動における前記方向をさらに記録し、
前記実行部は、前記周辺確認行動のうち記録された前記方向が走行する車線から変更先の車線に向かう方向に対応する周辺確認行動が前記事前確認期間に検出された場合、前記車両に車線変更を実行させる、請求項１または２に記載の走行制御装置。 - 前記提案部は、前記事前確認期間に前記周辺確認行動が検出されている場合、前記提案後確認期間に前記周辺確認行動が検出されるか否かにかかわらず車線変更が実行されることを運転者に通知する、請求項１－３のいずれか一項に記載の走行制御装置。
- 車両の運転者の顔を表す画像から、前記運転者が前記車両の周辺を確認する周辺確認行動を検出し、
前記周辺確認行動が検出された時刻を記録し、
前記運転者に前記車両が走行する車線を隣接する車線に変更する車線変更の提案を通知し、
前記車線変更の提案が通知された時刻より前の事前確認期間に前記周辺確認行動が検出されている場合、前記車線変更の提案が通知された時刻より後の提案後確認期間に前記周辺確認行動が検出されるか否かにかかわらず前記車両に前記車線変更を実行させる、
ことを含む走行制御方法。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021044544A JP7415990B2 (ja) | 2021-03-18 | 2021-03-18 | 走行制御装置および走行制御方法 |
| CN202210217899.7A CN115158317A (zh) | 2021-03-18 | 2022-03-08 | 行驶控制装置以及行驶控制方法 |
| US17/695,018 US11702095B2 (en) | 2021-03-18 | 2022-03-15 | Travel controller and method for travel control |
| DE102022106098.5A DE102022106098A1 (de) | 2021-03-18 | 2022-03-16 | Fahrsteuergerät und fahrsteuerungsverfahren |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2021044544A JP7415990B2 (ja) | 2021-03-18 | 2021-03-18 | 走行制御装置および走行制御方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2022143822A JP2022143822A (ja) | 2022-10-03 |
| JP7415990B2 true JP7415990B2 (ja) | 2024-01-17 |
Family
ID=83114759
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021044544A Active JP7415990B2 (ja) | 2021-03-18 | 2021-03-18 | 走行制御装置および走行制御方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11702095B2 (ja) |
| JP (1) | JP7415990B2 (ja) |
| CN (1) | CN115158317A (ja) |
| DE (1) | DE102022106098A1 (ja) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009280015A (ja) | 2008-05-20 | 2009-12-03 | Toyota Motor Corp | 操舵制御装置 |
| JP2017074918A (ja) | 2015-10-16 | 2017-04-20 | 株式会社デンソー | 報知管理装置及び報知管理方法 |
| JP2017102519A5 (ja) | 2015-11-30 | 2017-10-12 | ||
| US20190367038A1 (en) | 2018-06-04 | 2019-12-05 | Sharp Kabushiki Kaisha | Driver monitoring device |
| JP2021015344A (ja) | 2019-07-10 | 2021-02-12 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100131148A1 (en) * | 2008-11-26 | 2010-05-27 | Jaime Camhi | System and method for estimated driver intention for driver assistance system control |
| US20170088165A1 (en) * | 2015-09-29 | 2017-03-30 | GM Global Technology Operations LLC | Driver monitoring |
| JP6617534B2 (ja) * | 2015-11-30 | 2019-12-11 | 株式会社デンソー | 運転支援装置 |
| JP2018177064A (ja) | 2017-04-17 | 2018-11-15 | 株式会社デンソーテン | コンテンツ再生装置及びコンテンツ再生方法 |
| US10011216B1 (en) * | 2017-04-27 | 2018-07-03 | Toyota Motor Engineering & Manufacturing North America, Inc. | Auto turn signal initiation based on lane change and driver history |
| JP6966489B2 (ja) * | 2019-01-17 | 2021-11-17 | 本田技研工業株式会社 | 車両の制御システム、車両の制御方法、およびプログラム |
| JP2020135195A (ja) | 2019-02-15 | 2020-08-31 | 本田技研工業株式会社 | 車両制御装置、車両および車両制御方法 |
| US11267483B2 (en) * | 2019-08-26 | 2022-03-08 | GM Global Technology Operations LLC | Method and apparatus for prevention of unintended lane change maneuver in an assisted driving system |
| JP7014214B2 (ja) | 2019-11-12 | 2022-02-01 | 株式会社デンソー | 運転支援装置 |
| US11535253B2 (en) * | 2020-09-18 | 2022-12-27 | GM Global Technology Operations LLC | Lane change maneuver intention detection systems and methods |
-
2021
- 2021-03-18 JP JP2021044544A patent/JP7415990B2/ja active Active
-
2022
- 2022-03-08 CN CN202210217899.7A patent/CN115158317A/zh active Pending
- 2022-03-15 US US17/695,018 patent/US11702095B2/en active Active
- 2022-03-16 DE DE102022106098.5A patent/DE102022106098A1/de active Pending
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009280015A (ja) | 2008-05-20 | 2009-12-03 | Toyota Motor Corp | 操舵制御装置 |
| JP2017074918A (ja) | 2015-10-16 | 2017-04-20 | 株式会社デンソー | 報知管理装置及び報知管理方法 |
| JP2017102519A5 (ja) | 2015-11-30 | 2017-10-12 | ||
| US20190367038A1 (en) | 2018-06-04 | 2019-12-05 | Sharp Kabushiki Kaisha | Driver monitoring device |
| JP2021015344A (ja) | 2019-07-10 | 2021-02-12 | 本田技研工業株式会社 | 車両制御装置、車両制御方法、およびプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2022143822A (ja) | 2022-10-03 |
| DE102022106098A1 (de) | 2022-09-22 |
| US20220297714A1 (en) | 2022-09-22 |
| CN115158317A (zh) | 2022-10-11 |
| US11702095B2 (en) | 2023-07-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017151694A (ja) | 安全確認診断システム及び安全確認診断方法 | |
| JP2024051038A (ja) | 車線情報表示装置、車線情報表示方法、および車線情報表示用コンピュータプログラム | |
| JP7415990B2 (ja) | 走行制御装置および走行制御方法 | |
| JP7140154B2 (ja) | 車両制御装置 | |
| JP2021163096A (ja) | 物体検出方法、物体検出装置、及び、プログラム | |
| CN116461534A (zh) | 驾驶员监视装置、驾驶员监视方法以及驾驶员监视用计算机程序 | |
| CN116353625A (zh) | 行驶控制装置以及行驶控制方法 | |
| US20210370956A1 (en) | Apparatus and method for determining state | |
| CN113879321A (zh) | 驾驶员监视装置及驾驶员监视方法 | |
| US20220063677A1 (en) | Travel controller and method for travel control | |
| US20220066551A1 (en) | Apparatus and method for obtaining facial information | |
| JP2023085085A (ja) | 覚醒度判定装置 | |
| JP2022144145A (ja) | 車両 | |
| JP2024029977A (ja) | 表示制御装置 | |
| CN117622183A (zh) | 通知装置和通知方法 | |
| JP2024029505A (ja) | 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム | |
| JP2024020838A (ja) | 表示制御装置 | |
| JP2024031484A (ja) | 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム | |
| JP2024029612A (ja) | 走行制御装置、走行制御方法、および走行制御用コンピュータプログラム | |
| JP2023124655A (ja) | 座り直し判定装置 | |
| JP2024017311A (ja) | 走行制御装置 | |
| JP2024015666A (ja) | 視線推定装置、視線推定用コンピュータプログラム及び視線推定方法 | |
| JP2024030017A (ja) | 物体検出装置、物体検出方法、および物体検出用コンピュータプログラム | |
| CN117152721A (zh) | 座椅定位推测装置、座椅定位推测方法以及座椅定位推测用计算机程序 | |
| JP2022011764A (ja) | 運転支援装置、及び、運転支援方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230217 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231129 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231218 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7415990 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |