JP7158352B2 - 運転支援装置、車両の制御方法、およびプログラム - Google Patents

運転支援装置、車両の制御方法、およびプログラム Download PDF

Info

Publication number
JP7158352B2
JP7158352B2 JP2019146795A JP2019146795A JP7158352B2 JP 7158352 B2 JP7158352 B2 JP 7158352B2 JP 2019146795 A JP2019146795 A JP 2019146795A JP 2019146795 A JP2019146795 A JP 2019146795A JP 7158352 B2 JP7158352 B2 JP 7158352B2
Authority
JP
Japan
Prior art keywords
line
sight
vehicle
driver
control
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019146795A
Other languages
English (en)
Other versions
JP2021026720A5 (ja
JP2021026720A (ja
Inventor
裕司 安井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019146795A priority Critical patent/JP7158352B2/ja
Priority to US16/943,100 priority patent/US20210039638A1/en
Priority to CN202311353308.XA priority patent/CN117302198A/zh
Priority to CN202010766801.4A priority patent/CN112428988A/zh
Publication of JP2021026720A publication Critical patent/JP2021026720A/ja
Publication of JP2021026720A5 publication Critical patent/JP2021026720A5/ja
Application granted granted Critical
Publication of JP7158352B2 publication Critical patent/JP7158352B2/ja
Priority to US18/242,205 priority patent/US20230415735A1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • B60W60/0017Planning or execution of driving tasks specially adapted for safety of other traffic participants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data

Description

本発明は、車両の制御技術に関する。
車両の運転支援制御において、様々な走行機能を自動で実行する制御が知られている。例えば、ドライバの状態に合わせて、ドライバに対して適切な運転支援や通知を行うことが知られている。
特許文献1では、車両の駐停車等において、ドライバの車輪の操舵状況に応じて、適切に操舵状態を報知することが記載されている。また、特許文献2では、ドライバの視線を検出し、検出した視線の特徴を推定することが記載されている。
特開2008-168845号公報 特開2018-97398号公報
車両側において、運転支援制御を提供する場合、ドライバによっては、過度な通知や運転支援を避けたい場合がある。
そこで、本発明は、ドライバの視線および走行中の道路の周辺環境を考慮した上で、ドライバに対して適切な運転支援制御を行うことを目的とする。
上記課題を解決するために本願発明は以下の構成を有する。すなわち、車両における運転支援装置であって、前記車両の周辺情報を取得する情報取得手段と、前記周辺情報を用いて、前記車両の周辺におけるリスク領域を予測するリスク予測手段と、前記周辺情報における前記車両のドライバの視線の位置を特定する視線特定手段と、特定の属性を有するドライバの運転時における視線の位置のデータを用いて学習された学習済みモデルを用いて、前記周辺情報における視線の位置を推定する推定手段と、前記推定手段にて推定された視線の位置と、前記視線特定手段にて特定された視線の位置との乖離度が第一の閾値未満の場合に、前記リスク予測手段にて予測されたリスク領域と、前記視線特定手段にて特定された視線の位置との乖離度に基づき、運転支援制御を切り替える制御手段とを有する。
本発明によれば、ドライバの視線および走行中の道路の周辺環境を考慮した上で、ドライバに対して適切な運転支援制御を行うことが可能となる。
本発明の一実施形態に係る車両用制御装置のブロック図。 本発明の一実施形態に係る潜在リスク予測を説明するための図。 本発明の一実施形態に係る熟練ドライバの注視点の推定を説明するための図。 本発明の一実施形態に係るドライバの視線の特定を説明するための図。 本発明の一実施形態に係る比較処理を説明するための図。 本発明の第1の実施形態に係る処理のフローチャート。 本発明の一実施形態に係る直接誘導と間接誘導の例を説明するための図。 本発明の一実施形態に係る直接誘導と間接誘導の例を説明するための図。 本発明の一実施形態に係る直接誘導と間接誘導の例を説明するための図。 本発明の第2の実施形態に係る処理のフローチャート。 本発明の第3の実施形態に係る閾値設定処理のフローチャート。
以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでなく、また実施形態で説明されている特徴の組み合わせの全てが発明に必須のものとは限らない。実施形態で説明されている複数の特徴うち二つ以上の特徴が任意に組み合わされてもよい。また、同一若しくは同様の構成には同一の参照番号を付し、重複した説明は省略する。
<第1の実施形態>
[車両構成]
図1は、本発明の一実施形態に係る車両用制御装置のブロック図であり、車両1を制御する。図1において、車両1はその概略が平面図と側面図とで示されている。車両1は一例としてセダンタイプの四輪の乗用車である。
図1の制御装置は、制御ユニット2を含む。制御ユニット2は車内ネットワークにより通信可能に接続された複数のECU20~29を含む。各ECUは、CPUに代表されるプロセッサ、半導体メモリ等の記憶デバイス、外部デバイスとのインタフェース等を含むコンピュータとして機能する。記憶デバイスにはプロセッサが実行するプログラムやプロセッサが処理に使用するデータ等が格納される。各ECUはプロセッサ、記憶デバイスおよびインタフェース等を複数備えていてもよい。
以下、各ECU20~29が担当する機能等について説明する。なお、ECUの数や、担当する機能については適宜設計可能であり、本実施形態よりも細分化したり、あるいは、統合することが可能である。
ECU20は、車両1の自動運転に関わる制御を実行する。自動運転においては、車両1の操舵と、加減速の少なくともいずれか一方を自動制御する。後述する制御例では、操舵と加減速の双方を自動制御する。
ECU21は、電動パワーステアリング装置3を制御する。電動パワーステアリング装置3は、ステアリングホイール31に対する運転者の運転操作(操舵操作)に応じて前輪を操舵する機構を含む。また、電動パワーステアリング装置3は操舵操作をアシストしたり、あるいは、前輪を自動操舵するための駆動力を発揮するモータや、操舵角を検知するセンサ等を含む。車両1の運転状態が自動運転の場合、ECU21は、ECU20からの指示に対応して電動パワーステアリング装置3を自動制御し、車両1の進行方向を制御する。
ECU22および23は、車両の周囲状況を検知する検知ユニット41~43の制御および検知結果の情報処理を行う。検知ユニット41は、車両1の前方を撮影するカメラであり(以下、カメラ41と表記する場合がある。)、本実施形態の場合、車両1のルーフ前部でフロントウィンドウの車室内側に取り付けられる。カメラ41が撮影した画像の解析により、物標の輪郭抽出や、道路上の車線の区画線(白線等)を抽出可能である。
検知ユニット42は、Light Detection and Ranging(LIDAR:ライダ)であり(以下、ライダ42と表記する場合がある)、車両1の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、ライダ42は5つ設けられており、車両1の前部の各隅部に1つずつ、後部中央に1つ、後部各側方に1つずつ設けられている。検知ユニット43は、ミリ波レーダであり(以下、レーダ43と表記する場合がある)、車両1の周囲の物標を検知したり、物標との距離を測距する。本実施形態の場合、レーダ43は5つ設けられており、車両1の前部中央に1つ、前部各隅部に1つずつ、後部各隅部に一つずつ設けられている。
ECU22は、一方のカメラ41と、各ライダ42の制御および検知結果の情報処理を行う。ECU23は、他方のカメラ41と、各レーダ43の制御および検知結果の情報処理を行う。車両の周囲状況を検知する装置を二組備えたことで、検知結果の信頼性を向上でき、また、カメラ、ライダ、レーダといった種類の異なる検知ユニットを備えたことで、車両の周辺環境の解析を多面的に行うことができる。
ECU24は、ジャイロセンサ5、GPSセンサ24b、通信装置24cの制御および検知結果あるいは通信結果の情報処理を行う。ジャイロセンサ5は車両1の回転運動を検知する。ジャイロセンサ5の検知結果や、車輪速等により車両1の進路を判定することができる。GPSセンサ24bは、車両1の現在位置を検知する。通信装置24cは、地図情報や交通情報を提供するサーバと無線通信を行い、これらの情報を取得する。ECU24は、記憶デバイスに構築された地図情報のデータベース24aにアクセス可能であり、ECU24は現在地から目的地へのルート探索等を行う。
ECU25は、車車間通信用の通信装置25aを備える。通信装置25aは、周辺の他車両と無線通信を行い、車両間での情報交換を行う。
ECU26は、パワープラント6を制御する。パワープラント6は車両1の駆動輪を回転させる駆動力を出力する機構であり、例えば、エンジンと変速機とを含む。ECU26は、例えば、アクセルペダル7Aに設けた操作検知センサ7aにより検知した運転者の運転操作(アクセル操作あるいは加速操作)に対応してエンジンの出力を制御したり、車速センサ7cが検知した車速等の情報に基づいて変速機の変速段を切り替える。車両1の運転状態が自動運転の場合、ECU26は、ECU20からの指示に対応してパワープラント6を自動制御し、車両1の加減速を制御する。
ECU27は、方向指示器8(ウィンカー)を含む灯火器(ヘッドライト、テールライト等)を制御する。図1の例の場合、方向指示器8は車両1の前部、ドアミラーおよび後部に設けられている。
ECU28は、入出力装置9の制御を行う。入出力装置9は運転者に対する情報の出力と、運転者からの情報の入力の受け付けを行う。音声出力装置91は運転者に対して音声(文言)により情報を報知する。表示装置92は運転者に対して画像の表示により情報を報知する。表示装置92は例えば運転席正面に配置され、インストルメントパネル等を構成する。なお、ここでは、音声と表示を例示したが振動や光により情報を報知してもよい。また、音声、表示、振動または光のうちの複数を組み合わせて情報を報知してもよい。更に、報知すべき情報のレベル(例えば緊急度)に応じて、組み合わせを異ならせたり、報知態様を異ならせてもよい。
入力装置93は運転者が操作可能な位置に配置され、車両1に対する指示を行うスイッチ群であるが、音声入力装置も含まれてもよい。
ECU29は、ブレーキ装置10やパーキングブレーキ(不図示)を制御する。ブレーキ装置10は例えばディスクブレーキ装置であり、車両1の各車輪に設けられ、車輪の回転に抵抗を加えることで車両1を減速あるいは停止させる。ECU29は、例えば、ブレーキペダル7Bに設けた操作検知センサ7bにより検知した運転者の運転操作(ブレーキ操作)に対応してブレーキ装置10の作動を制御する。車両1の運転状態が自動運転の場合、ECU29は、ECU20からの指示に対応してブレーキ装置10を自動制御し、車両1の減速および停止を制御する。ブレーキ装置10やパーキングブレーキは車両1の停止状態を維持するために作動することもできる。また、パワープラント6の変速機がパーキングロック機構を備える場合、これを車両1の停止状態を維持するために作動することもできる。
車両1は、車内の状態を検出する車内検出手段50を更に備える。ここでは、車内検出手段50として、撮像部としてのカメラや、重量センサ、温度検知センサなどにより構成され、その種類は特に限定するものではない。なお、車内検出手段50は、車両1に設けられた座席ごとに設けられてもよいし、車内全体を俯瞰および監視可能なように単一の構成にて設けられてもよい。
[制御機能の例]
本実施形態に係る車両1の制御機能は、車両1の駆動、制動、操舵の制御に関わる走行関連機能と、運転者に対する情報の報知に関わる報知機能と、を含む。
走行関連機能としては、例えば、車線維持制御、車線逸脱抑制制御(路外逸脱抑制制御)、車線変更制御、前走車追従制御、衝突軽減ブレーキ制御、誤発進抑制制御を挙げることができる。報知機能としては、隣接車両報知制御、前走車発進報知制御を挙げることができる。また、報知機能の一種として、搭乗者との音声による会話サービスを提供してよい。この会話サービスでは、搭乗者(ドライバ等)からの音声入力を認識し、その応答として情報を提供してもよいし、システム側が主体的に音声により情報を提供してもよい。
車線維持制御とは、車線に対する車両の位置の制御の一つであり、車線内に設定した走行軌道上で車両を自動的に(運転者の運転操作によらずに)走行させる制御である。車線逸脱抑制制御とは、車線に対する車両の位置の制御の一つであり、白線または中央分離帯を検知し、車両が線を超えないように自動的に操舵を行うものである。車線逸脱抑制制御と車線維持制御とはこのように機能が異なっている。
車線変更制御とは、車両が走行中の車線から隣接車線へ車両を自動的に移動させる制御である。前走車追従制御とは、自車両の前方を走行する他車両に自動的に追従する制御である。衝突軽減ブレーキ制御とは、車両の前方の障害物との衝突可能性が高まった場合に、自動的に制動して衝突回避を支援する制御である。誤発進抑制制御は、車両の停止状態で運転者による加速操作が所定量以上の場合に、車両の加速を制限する制御であり、急発進を抑制する。
隣接車両報知制御とは、自車両の走行車線に隣接する隣接車線を走行する他車両の存在を運転者に報知する制御であり、例えば、自車両の側方、後方を走行する他車両の存在を報知する。前走車発進報知制御とは、自車両およびその前方の他車両が停止状態にあり、前方の他車両が発進したことを報知する制御である。これらの報知は上述した車内報知デバイスにより行うことができる。
以下、本実施形態に係る処理概要について説明する。本実施形態では、車両1に備えられた車内検出手段50および各種検知ユニットを介して取得された情報に基づき、周辺環境およびドライバの情報を取得する。そして、取得した情報に基づいて、ドライバに対して適切な情報の報知を行う。
[潜在リスク予測]
制御ユニット2は、各種検知ユニットを介して車両1の周辺情報を取得する。図2(a)は走行中の車両1において、検知ユニット(カメラ41)により画像取得を行い、取得された走行方向正面(前面)の画像の例を示す。ここでは、車両1のドライバにおいても同様の景色が視認可能な状態であるものとして説明する。また、以下に説明する例では、走行方向正面(前面)を例に挙げて説明するが、車両1の横方向や後ろ方向の画像を更に用いてもよい。さらには、画像の代わりに、LIDARやレーダにより周辺情報を取得してもよい。
本実施形態に係る車両1は、検知ユニットにて取得した各種情報に基づき、周辺における潜在リスクの予測を行う。例えば、図2(a)に示す画像において、交通参加者としての自転車201および他車両202が含まれている。この場合に、矢印203に示すように、自転車201が他車両202を避けるように走行する可能性がある。そこで、本実施形態では、図2(b)に示すように、自転車201の行動予測を行い、その確度に応じた領域204を潜在リスクがある領域として予測する。図2(b)では確度が高いほど、濃い色にて示している。
ここでの潜在リスク予測の方法については、例えば、ディープラーニングなどの機械学習の学習モデルによる予測方法が適用可能である。ここでの学習モデルでは、複数の画像データ(データセット)を用いて、各画像に含まれる物標の動きを予測するための学習が行われる。学習方法の詳細については、ここでは省略し、公知の方法が適用可能であるとする。学習方法については特に限定するものでは無く、周知の方法が用いられてよい。ここで学習用データとしては、物標を含む連続した画像データが用いられる。この学習用データを用いることで、本実施形態に係る学習済みモデルが生成される。ある状況における車両にて取得した画像に対して、学習済みモデルが適用されることにより、その画像に含まれる物標の行動予測が行われ、その行動結果に基づいて、潜在リスク予測されることとなる。なお、学習済みモデルの生成には、大きな負荷がかかるため、予め生成され、車両1内の記憶部に保持されているものとする。また、潜在リスク予測の際に用いられる、交通参加者の検知方法や画像認識方法についても、公知の方法が適用可能であるとして、ここでの詳細な説明は省略する。また、周辺情報の取得手段として、画像の代わりに、LIDARやレーダによりデータを用いる場合は、前述の学習用データは画像ではなく、LIDARやレーダからの出力データとなる。
図2(c)は、図2(a)(b)を上側から俯瞰してみた場合の概念図を示す。自車両である車両1が進行方向(矢印206)に進んでいる場合に、図2(a)に示す周辺状況が検知されている。そして、その進行方向において、自転車201の行動予測に相当する領域204が重畳している場合を示している。このような重畳する領域は、潜在リスクが高いものとして扱われる。なお、図2(a)(b)には示していないが、図2(c)の領域205に示すように、他車両202の行動に対応する領域を更に予測してよい。
[注視点の推定]
次に、本実施形態に係る熟練ドライバの動作データに基づく注視点推定について説明する。図3(a)は、図2(a)に示した画像と同様であるものとする。この画像に対し、予め生成して保持している学習済みモデルを適用することで、図3(b)に示すような注視点推定による領域301の推定を行う。
ここでの学習済みモデルは、熟練ドライバの運転履歴のデータを用いて、CNN(Convolutional Neural Network;畳み込みニューラルネットワーク)などの機械学習の手法により得られるモデルである。学習方法の詳細については、ここでは省略し、公知の方法が適用可能であるとする。ここで学習用データとして用いられる熟練ドライバの運転履歴のデータには、熟練ドライバによる走行時の車両にて取得した画像(車両の前方画像等)と、その画像に対する熟練ドライバの視線の位置情報との対が用いられる。つまり、画像に含まれる自車両の周辺に位置する各種物標(車両や人などの交通参加者を含む)と、その存在が認識される状況における熟練ドライバの視線の位置に基づいて、本実施形態に係る学習済みモデルが生成される。ある状況における車両の画像に対して、学習済みモデルが適用されることにより、その画像における熟練ドライバの視線の位置が出力されることとなる。なお、学習済みモデルの生成には、大きな負荷がかかるため、予め生成され、車両1内の記憶部に保持されているものとする。
上記処理により、ある走行の状況下における、熟練ドライバの視線の位置を推定する。このような視線の位置を領域301にて示し、本実施形態では、この領域301を「注視点」として説明する。なお、注視点は、点で示されるものに限定するものではなく、所定の時間間隔において視線が移動する範囲にて示されてよい。また、本実施形態において学習を行う際に用いられるデータのドライバを「熟練者ドライバ」と記載するが、その属性を限定するものではない。
[ドライバの視線特定]
次に、本実施形態に係る車両1のドライバの視線特定について説明する。上述したように、車両1は、車内の状態を検出する車内検出手段50を更に備える。本実施形態では、車内検出手段50により取得された画像等の情報に基づき、ドライバの視線および顔の向きを検出されるものとして説明を行い、それ以外の検出については説明を省略する。
図4(a)は、車両1のドライバの画像の例を示す。図4(a)の画像において、顔領域402が検出され、更にドライバの視線401が検出されたものとする。なお、顔領域402の検出や、視線方向の検出方法は特に限定するものではなく、公知の方法が用いられてよい。更に、1つもしくは1方向からの画像から視線方向を検出する方法に限定するものではなく、複数の車内検出手段50にて同じタイミングにて検出された複数の画像に基づいて、視線方向を特定してもよい。
そして、検出したドライバの視線方向に基づいて、周辺画像におけるドライバの視線の位置を特定する。図4(b)は、画像中における、検出したドライバの視線の位置を特定した領域403を示している。画像は、図3(a)に示したものと同様である。なお、ドライバの視線は常に一定ではないため、所定の時間間隔における、視線が位置した範囲を用いてもよい。ここでの視線方向の特定方法および画像中における視線の位置の特定方法については、特に限定するものではなく、公知の方法が利用可能である。
[処理フロー]
図6を用いて、本実施形態に係る制御処理の処理フローを説明する。本処理フローの各制御は、上述したような車両1が備える各種EUC等が連携して処理を行うが、ここでは、説明を簡単にするために処理主体を車両1の制御ユニット2として示す。例えば、車両1において走行が開始された際に、本処理が開始されてよい。また、本処理は、車両1が走行している間は継続的に繰り返されてよい。
S601にて、制御ユニット2は、検知ユニットであるカメラ41から車両1の周辺画像を取得する。ここでは、車両1の進行方向前方の画像を取得するものとする。
S602にて、制御ユニット2は、S601にて取得された画像から交通参加者を検出する。ここでの交通参加者としては、例えば、人、他車両、動体などが挙げられ、その種類は特に限定するものではない。図2(a)に示す画像の例の場合、自転車201や他車両202が検出される。なお、ここでの検出内容は、画像による平面情報に限定するものではなく、自車両と交通参加者との相対距離や位置関係の情報を併せて検出してもよい。
S603にて、制御ユニット2は、S602にて検出した交通参加者に対する行動予測を行う。更に、制御ユニット2は、行動予測の結果に基づき、走行中の周辺における潜在リスクを予測し、そのリスクが発生する領域を特定する。具体的には、図2(b)に示す領域204が予測されることとなる。ここでの行動予測および潜在リスクの予測方法は、特に限定するものでは無いが、例えば、自動運転分野におけるリスク予測機能として公知の方法を適用することができる。
S604にて、制御ユニット2は、自車両の走行状態に関する情報を取得する。ここでの走行状態に関する情報としては、走行速度や加減速量、進行方向(舵角)の情報などが挙げられる。
S605にて、制御ユニット2は、S603にて予測した潜在リスクの領域と、S604にて取得した自車両の走行状態に関する情報を用いて、潜在リスクの領域と自車両の走行位置との距離が所定の閾値A以下か否かを判定する。例えば、図2(c)に示すように、車両1と、領域204や領域205との距離が閾値A以下であるか否かが判定される。このとき、S604にて取得した情報に基づき、一定時間後の自車両の位置を予測し、その予測結果と、潜在リスク領域との位置関係とに基づいて、ここでの判定を行ってもよい。閾値Aについては、予め規定され、車両1の記憶部にて保持されているものとする。距離が閾値A以下であると判定された場合(S605にてYES)S615へ進み、閾値Aよりも大きいと判定された場合(S605にてNO)S606へ進む。
S606にて、制御ユニット2は、S603にて予測した潜在リスクの領域と、S604にて取得した自車両の走行状態に関する情報を用いて、潜在リスクの領域と自車両の走行位置との距離が所定の閾値B以上か否かを判定する。閾値Aと閾値Bとの関係は、閾値B>閾値Aとなる。閾値Bについても、閾値Aと同様に、予め規定され、車両1の記憶部にて保持されているものとする。距離が閾値Bよりも小さいと判定された場合(S606にてNO)S607へ進む。距離が閾値B以上であると判定された場合(S606にてYES)、ドライバに対して通知する内容は無いものとして、本処理フローを終了する。
S607にて、制御ユニット2は、S601にて取得した周辺画像に対して、予め生成された学習済みモデルを適用することで、熟練ドライバによる注視点の推定を行う。具体的には、本工程における処理結果として、図3(b)に示すような、領域301が出力されることとなる。
S608にて、制御ユニット2は、車内検出手段50により、車両1のドライバの画像を取得する。
S609にて、制御ユニット2は、S608にて取得したドライバの画像に基づき、当該ドライバの視線を検出する。視線の検出方法は、公知の方法を用いてよく、特に限定するものではない。本工程では、具体的には、図4(a)に示すように、ドライバの顔領域を検出し、その視線の向きを検出する。
S610にて、制御ユニット2は、S609にて検出したドライバの視線に基づき、S601の周辺画像におけるドライバの視線の位置を特定する。ここでの視線の位置は、範囲にて特定されてよい。本工程では、具体的には、図4(b)の領域403に示すような視線の位置の領域が特定される。
S611にて、制御ユニット2は、S607にて推定した熟練ドライバの注視点と、S610にて特定したドライバの視線との距離の乖離が所定の閾値C以上か否かを判定する。具体的には、図5(b)に示すように、領域301と領域403との距離を算出し、算出した距離と閾値Cとの比較を行う。ここでの距離の算出方法は特に限定するものではないが、例えば、各領域のエッジ間の最も近い距離を算出してもよいし、各領域の中心点間の距離を算出してもよい。また、領域が重畳している場合には、距離を“0”として扱ってもよい。閾値Cについては、予め規定され、車両1の記憶部にて保持されているものとする。距離が閾値C以上であると判定された場合(S611にてYES)S614へ進み、閾値Cよりも小さいと判定された場合(S611にてNO)S612へ進む。
S612にて、制御ユニット2は、S603にて予測した潜在リスク領域と、S610にて特定したドライバの視線との距離の乖離が所定の閾値D以上か否かを判定する。具体的には、図5(a)に示すように、領域204と領域403との距離を算出し、算出した距離と閾値Dとの比較を行う。ここでの距離の算出方法は特に限定するものではないが、例えば、各領域のエッジ間の最も近い距離を算出してもよい。閾値Dについては、予め規定され、車両1の記憶部にて保持されているものとする。距離が閾値D以上であると判定された場合(S612にてYES)S614へ進み、閾値Dよりも小さいと判定された場合(S612にてNO)S613へ進む。
S613にて、制御ユニット2は、ドライバに対して、報知手段を用いて、間接誘導による報知を行う。本実施形態に係る間接誘導の具体例については後述する。そして、本処理フローを終了する。
S614にて、制御ユニット2は、ドライバに対して、報知手段を用いて、直接誘導による報知を行う。本実施形態に係る直接誘導の具体例については後述する。そして、本処理フローを終了する。
S615にて、制御ユニット2は、ドライバに対して、自車両と周辺環境の潜在リスク領域との位置関係により、何らかのリスクが発生する可能性が高まっている旨の警告を行う。本実施形態に係る警告の具体例については後述する。そして、本処理フローを終了する。
なお、図6では説明を省略するが、衝突軽減や衝突回避制御を並行して行ってもよい。例えば、閾値Aよりも小さい閾値A1を設定しておき、周辺の物標と自車両との距離が閾値A1よりも小さい場合には、衝突が発生する可能性(衝突可能性)が高いものと判断し、S615の警告に優先して衝突軽減ブレーキ制御などを実施してよい。更に緊急度が高い場合には、衝突が回避できないものとして、例えば、衝突前に衝突安全装置(エアバッグ)等を動作させるような制御を行ってもよい。
また、図6に示す各処理の一部が並列に行われてもよい。例えば、周辺情報に関する処理処理(S601~S604)とドライバに関する処理(S607~S610)は並行して行われてもよい。
なお、上記の例では、車両1の進行方向前方の画像を例に挙げて説明したが、これに限定するものではない。例えば、左折や右折時における車両側面の画像を用いてもよい。また、後進時における車両側面や車両後面の画像を用いてもよい。また、画像の代わりにLIDARやレーダから出力データを用いてもよい。
[報知例]
以下、本実施形態に係る直接誘導、間接誘導、および警告について、具体例を用いて説明する。ここでの誘導とは、具体的には、ドライバの視線を所定の方向に向けることを促すことを目的とする。
本実施形態に係る警告は、例えば、自車両と交通参加者との衝突などの事象が発生する可能性が一定程度高い状態であると判定された際に、その旨をドライバに警告するものである。具体的には、自車両との距離が近い交通参加者の位置を直接的に通知する内容などが該当する。
本実施形態に係る直接誘導は、自車両と交通参加者との衝突などの事象が発生する可能性は、警告を行う場合よりも低いが、ドライバに対して、リスクの要素(例えば、交通参加者)の存在を直接的に認識させる場合に行われる。ここでの「直接的」とは、例えば、リスクの要素が存在する位置を具体的に示したりすることが挙げられる。本実施形態では、ドライバの視線が、熟練ドライバの注視点の領域や潜在リスク領域から一定距離以上離れている場合に、直接誘導を行う。
本実施形態に係る間接誘導は、自車両と交通参加者との衝突などの事象が発生する可能性は、警告を行う場合よりも低いが、ドライバに対して、リスクの要素(例えば、交通参加者)の存在を間接的に認識させる場合に行われる。ここでの「間接的」とは、例えば、リスクの要素に関連する属性(容姿、年齢、服装、ふるまい、形(トラック、普通車)、色、大きさ等)や、そのリスクの要素の周辺に位置する物標に関する情報などを示すことなどが挙げられる。本実施形態では、ドライバの視線が、熟練ドライバの注視点の領域や潜在リスク領域から一定距離内の位置にある場合に、間接誘導を行う。
図7~図9は、本実施形態に係る直接誘導と間接誘導の具体例を説明するための図である。図7(a)は、図2にて示した周辺画像と同様、自車両の前方において、駐車車両を回避すると予測される自転車が存在している状況を示す。図7(b)は、この状況において、間接誘導を行う場合の報知例を示している。これにより、ドライバの視線が自転車を含むように変化させることを意図する。図7(c)は、直接誘導を行う場合の報知例を示している。この場合、図7(b)のドライバの視線と比較して、当初の視線の位置が自転車の位置よりも離れた位置にあるものとする。
図8(a)は、自車両の周辺において、歩道を走行していた自転車が、歩道の歩行者を避けて車道に出てきた状況を示す。図8(b)は、この状況の直前において、間接誘導を行う場合の報知例を示している。これにより、ドライバの視線が自転車にも向くように変化させることを意図する。図8(c)は、直接誘導を行う場合の報知例を示している。この場合、図8(b)のドライバの視線と比較して、当初の視線の位置が自転車の位置よりも離れた位置にあるものとする。
図9(a)は、自車両が走行している車線の対向車線において、渋滞等により停止車両が並んでおり、それらの停止車両の間に歩行者が存在している状況を示す。図9(b)は、この状況において、間接誘導を行う場合の報知例を示している。これにより、ドライバの視線が対向車線の停止車両側を含むように変化させることを意図する。図(c)は、直接誘導を行う場合の報知例を示している。この場合、図9(b)のドライバの視線と比較して、当初の視線の位置が対向車線の停止車両の位置よりも離れた位置にあるものとする。
上記の報知内容は一例であり、特に限定するものではない。また、直接誘導と間接誘導のそれぞれに用いられる報知内容は、状況に応じて変化してよい。例えば、間接誘導と比較して、直接誘導は発話の強度を上げてもよい。具体的には、報知の際の音量を大きくしたり、報知タイミングを早めたりしてもよい。また、報知メッセージの発話スピードや口調を変化させてもよい(早口にする、言葉遣いを変える、など)。
以上、本実施形態では、ドライバの視線の位置と、潜在リスク領域や熟練ドライバの注視点の領域との位置関係に応じて、報知する内容を切り替える。これにより、ドライバの視線および走行中の道路の周辺環境を考慮した上で、ドライバに対して適切な運転支援を行うことが可能となる。特に、ドライバが過剰な報知であると感じない程度に報知を行うことが可能となる。
<第2の実施形態>
本発明の第2の実施形態として、第1の実施形態の構成に加え、ドライバの視線の位置に応じた運転支援制御を行う実施形態について説明する。なお、第1の実施形態と重複する部分については、説明を省略し、差異のみを説明する。
第1の実施形態では、ドライバの視線と、潜在リスク領域や熟練ドライバの注視点の領域との距離に応じて、直接誘導か間接誘導を切り替えていた。本実施形態では更に、その距離に応じて運転支援制御の程度を切り替える実施形態について説明する。
上述したように、運転支援制御の例として、車線維持制御、車線逸脱抑制制御(路外逸脱抑制制御)、車線変更制御、前走車追従制御、衝突軽減ブレーキ制御、誤発進抑制制御、隣接車両報知制御、および前走車発進報知制御などが挙げられる。更に、車速に関する運転支援制御の例として、車速維持制御や加減速制御などが挙げられる。
本実施形態では、ドライバの視線と、潜在リスク領域や熟練ドライバの注視点の領域との距離(乖離度)に応じて、運転支援制御が実施可能な制御パラメータに対する閾値を切り替える。言い換えると、ドライバの視線が熟練ドライバの注視点の位置に近い場合には、運転支援制御が実行可能な範囲を広げるものとする。より具体的には、車速維持制御に関し、ドライバの視線が熟練ドライバの注視点の位置に近い場合には、より高い速度にて車速を維持可能なように制御する。
[処理フロー]
図10は、本実施形態に係る制御処理の処理フローを説明する。本処理フローの各制御は、上述したような車両1が備える各種ECU等が連携して処理を行うが、ここでは、説明を簡単にするために処理主体を車両1の制御ユニット2として示す。例えば、車両1において運転支援制御が開始された際に、本処理が開始されてよい。また、本処理は、車両1が走行している間は継続的に繰り返されてよい。第1の実施形態にて述べた図6の処理と重複する部分については、同じ参照番号を付し、説明を省略する。
S611にて、制御ユニット2は、S607にて推定した熟練ドライバの注視点と、S610にて特定したドライバの視線との距離の乖離が所定の閾値C以上か否かを判定する。距離が閾値C以上であると判定された場合(S611にてYES)S1002へ進み、閾値Cよりも小さいと判定された場合(S611にてNO)S612へ進む。
S612にて、制御ユニット2は、S603にて予測した潜在リスク領域と、S610にて特定したドライバの視線との距離の乖離が所定の閾値D以上か否かを判定する。距離が閾値D以上であると判定された場合(S612にてYES)S1002へ進み、閾値Dよりも小さいと判定された場合(S612にてNO)S1001へ進む。
S1001にて、制御ユニット2は、運転支援制御のパラメータに対し、閾値Xを設定する。ここでの閾値Xは、車両1が実行可能な運転支援制御に対して予め規定されたものとする。そして、本処理フローを終了する。
S1002にて、制御ユニット2は、運転支援制御のパラメータに対し、閾値Yを設定する。ここでの閾値Yは、車両1が実行可能な運転支援制御に対して予め規定されたものとする。なお、閾値Yは、閾値Xよりも制限が厳しいものとする。そして、本処理フローを終了する。
なお、閾値X、閾値Yとして切り替えられる制限値は、車両1が実行可能な運転支援制御すべてに対して切り替えられるものでは無く、一部の運転支援機能に対してのみ切り替えられる構成であってよい。
以上、本実施形態では、ドライバの視線の位置と、潜在リスク領域や熟練ドライバの注視点の領域との位置関係に応じて、実施される運転支援制御の内容を切り替える。これにより、ドライバの視線および走行中の道路の周辺環境を考慮した上で、ドライバに対して適切な運転支援を提供することが可能となる。
なお、第1の実施形態の構成と第2の実施形態の構成は排他的なものではなく、両方の制御が行われてもよい。
<第3の実施形態>
上記の実施形態では、ドライバの視線の位置と、潜在リスク領域や熟練ドライバの注視点の領域との距離(乖離度)を判定する際に、一定の閾値を用いていた。本発明の第3の実施形態として、ドライバに応じて、乖離度の判定の際に用いる閾値を切り替える実施形態ついて説明する。
[閾値設定処理]
図11は、本実施形態に係る閾値設定の処理フローを説明する。本処理フローの各制御は、上述したような車両1が備える各種ECU等が連携して処理を行うが、ここでは、説明を簡単にするために処理主体を車両1の制御ユニット2として示す。例えば、車両1において走行が開始された際に、本処理が開始されてよい。
S1101にて、制御ユニット2は、車内検出手段50により、車両1のドライバの画像を取得する。
S1102にて、制御ユニット2は、S1101にて取得したドライバの画像に基づき、ドライバの特定を行う。ここでの特定方法は特に限定するものでは無いが、例えば、予め登録された顔画像とのマッチング処理により行われてよい。
S1103にて、制御ユニット2は、S1102にて特定したドライバにより設定された動作モードが有るか否かを判定する。ここでの動作モードは、車両1の運転支援制御などに対して設けられた動作モードである。動作モードの内容は特に限定するものでは無いが、例えば、運転支援時のエネルギー消費を抑える省エネモードや、搭乗者が快適に搭乗できるようにブレーキの制御などが行われるモードなどが挙げられる。各動作モードは、車両1が備える表示装置92等を用いて設定されてよい。設定された動作モードがある場合(S1103にてYES)S1107へ進み、設定された動作モードが無い場合(S1103にてNO)S1104へ進む。
S1104にて、制御ユニット2は、S1102にて特定したドライバの運転履歴の情報が保持されているか否かを判定する。運転履歴は、車両1の運転時にその操作内容が逐次記憶デバイス等に保持されるものとする。運転履歴がある場合は(S1104にてYES)S1109へ進み、運転履歴が無い場合には(S1104にてNO)S1105へ進む。なお、運転履歴のデータ量(例えば、走行距離)が一定量以下である場合や、最後に運転してから一定期間が過ぎている場合には、運転履歴が無いものとして扱ってもよい。
S1105にて、制御ユニット2は、S1102にて特定したドライバの属性情報が登録されているか否かを判定する。ここでの属性情報とは、例えば、免許証のランクや年齢などが挙げられる。これらの属性情報は、例えば、車両1が備える表示装置92等を用いて予め登録されてよい。属性情報が登録されている場合(S1105にてYES)S1108へ進み、登録されていない場合(S1105にてNO)S1106へ進む。
S1106にて、制御ユニット2は、予め規定されたデフォルト値を、乖離度の判定に用いる閾値として設定する。そして、本処理フローを終了する。
S1107にて、制御ユニット2は、設定された動作モードに対応付けて保持されている閾値を、乖離度の判定に用いる閾値として設定する。動作モードに対応する閾値は、予め規定されて、保持されているものとする。そして、本処理フローを終了する。
S1108にて、制御ユニット2は、属性情報に基づく閾値を、乖離度の判定に用いる閾値として設定する。属性情報に基づく閾値は、テーブル等により予め規定されて保持されているものとする。そして、本処理フローを終了する。
S1109にて、制御ユニット2は、運転履歴に基づく閾値を、乖離度の判定に用いる閾値として設定する。運転履歴に基づく閾値は、例えば、加減速制御(ブレーキ、アクセル)、ステアリング制御などの操作履歴や、操作履歴を用いた運転技術判定結果に応じて設定されてよい。例えば、運転技術が高いと判定されたドライバに対しては、閾値を緩めに設定してもよい。そして、本処理フローを終了する。
上記処理により設定された閾値を用いて、図6や図10の処理が行われることとなる。なお、図11の判定の順序はこれに限定するものではなく、判定順序(判定の優先順序)は入れ替わってよい。
以上、本実施形態により、第1、第2の実施形態の効果に加え、ドライバに応じて、乖離度の判定の際に用いる閾値を切り替えることが可能となる。
<実施形態のまとめ>
1.上記実施形態の車両における運転支援装置は、車両(例えば、1)の運転支援装置(例えば、2)であって、
前記車両の周辺情報を取得する情報取得手段(例えば、2、41)と、
前記周辺情報を用いて、前記車両の周辺におけるリスク領域を予測するリスク予測手段(例えば、2)と、
前記周辺情報における前記車両のドライバの視線の位置を特定する視線特定手段(例えば、2、50)と、
前記リスク予測手段にて予測されたリスク領域と、前記視線特定手段にて特定された視線の位置との乖離度に基づき、運転支援制御を切り替える制御手段(例えば、2)と
を有する。
この実施形態によれば、ドライバの視線および走行中の道路の周辺環境を考慮した上で、ドライバに対して適切な運転支援を行うことが可能となる。
2.上記実施形態では、特定の属性を有するドライバの運転時における視線の位置のデータを用いて学習された学習済みモデルを用いて、前記周辺情報における視線の位置を推定する推定手段(例えば2)を更に有し、
前記制御手段は更に、前記推定手段にて推定された視線の位置と、前記視線特定手段にて特定された視線の位置との乖離度に基づき、前記運転支援制御を切り替える。
この実施形態によれば、ドライバの視線と、特定の属性を有するドライバの運転時における視線の位置のデータを用いて学習された学習済みモデルを用いて推定される視線の位置との乖離度に基づいて、適切な運転支援制御を行うことができる。
3.上記実施形態では、前記制御手段は、前記乖離度に基づき、前記ドライバに対する報知の内容を切り替える。
この実施形態によれば、視線の乖離度に基づき、ドライバが過剰な報知であると感じない程度に報知を行うことが可能となる。
4.上記実施形態では、前記報知の内容の切り替えは、音量、報知タイミング、発話スピード、もしくは口調のいずれかの変更を含む。
この実施形態によれば、ドライバに対する報知内容を適切に切り替えることができる。
5.上記実施形態では、前記報知の内容の切り替えは、リスクの内容を直接的に報知する文言と、当該リスクの内容を間接的に報知する文言との変更を含む。
この実施形態によれば、ドライバに対し、リスクの内容を直接的もしくは間接的な文言にて切り替えて報知することができる。
6.上記実施形態では、前記報知の内容は、前記リスク領域への前記ドライバの視線を誘導するための文言である。
この実施形態によれば、ドライバの視線をより適切な位置へ誘導することが可能となる。
7.上記実施形態では、前記制御手段は、前記乖離度に基づき、前記運転支援制御の制御パラメータに対する閾値を切り替える。
この実施形態によれば、視線の乖離度に基づき、より適切な運転支援の内容を提供することができる。
8.上記実施形態では、前記ドライバの情報に応じて、前記乖離度に対する閾値を決定する決定手段(例えば、2)を更に有し、
前記制御手段は、前記決定手段にて決定された閾値を用いて、運転支援制御を切り替える。
この実施形態によれば、ドライバに応じて乖離度に対する閾値を制御し、よりドライバにあった運転支援を提供することができる。
9.上記実施形態では、前記ドライバの情報は、前記ドライバにて設定された前記車両の動作モード、前記ドライバの運転履歴、および前記ドライバの属性情報のいずれかを含む。
この実施形態によれば、ドライバの属性等の情報に応じた運転支援制御の切り替えが可能となる。
10.上記実施形態では、前記車両の周辺情報を用いて、前記車両と、前記周辺情報が示す物標との衝突可能性を予測する手段(例えば、2)を更に有し、
前記制御手段は、前記予測された衝突可能性に応じて、前記運転支援制御を切り替える。
この実施形態によれば、衝突可能性に応じて、運転支援制御を切り替えることが可能となる。
11.上記実施形態では、前記制御手段は、前記予測された衝突可能性が所定の閾値を超える場合、衝突前に衝突安全装置を動作させる。
この実施形態によれば、衝突可能性に応じて、予め衝突安全装置を動作させることが可能となる。
12.上記実施形態の車両の制御方法は、車両(例えば、1)の制御方法であって、
前記車両の周辺情報を取得する情報取得工程と、
前記周辺情報を用いて、前記車両の周辺におけるリスク領域を予測するリスク予測工程と、
前記周辺情報における前記車両のドライバの視線の位置を特定する視線特定工程と、
前記リスク予測工程にて予測されたリスク領域と、前記視線特定工程にて特定された視線の位置との乖離度に基づき、運転支援制御を切り替える制御工程と
を有する。
この実施形態によれば、ドライバの視線および走行中の道路の周辺環境を考慮した上で、ドライバに対して適切な運転支援を行うことが可能となる。
13.上記実施形態のプログラムは、車両(例えば、1)に搭載されたコンピュータ(例えば、2)を、
前記車両の周辺情報を取得する情報取得手段、
前記周辺情報を用いて、前記車両の周辺におけるリスク領域を予測するリスク予測手段、
前記周辺情報における前記車両のドライバの視線の位置を特定する視線特定手段、
前記リスク予測手段にて予測されたリスク領域と、前記視線特定手段にて特定された視線の位置との乖離度に基づき、運転支援制御を切り替える制御手段
として機能させる。
この実施形態によれば、ドライバの視線および走行中の道路の周辺環境を考慮した上で、ドライバに対して適切な運転支援を行うことが可能となる。
発明は上記の実施形態に制限されるものではなく、発明の要旨の範囲内で、種々の変形・変更が可能である。
1…車両、2…制御ユニット、20~29…ECU、41~43…検知ユニット、50…車内検出手段

Claims (13)

  1. 車両における運転支援装置であって、
    前記車両の周辺情報を取得する情報取得手段と、
    前記周辺情報を用いて、前記車両の周辺におけるリスク領域を予測するリスク予測手段と、
    前記周辺情報における前記車両のドライバの視線の位置を特定する視線特定手段と、
    特定の属性を有するドライバの運転時における視線の位置のデータを用いて学習された学習済みモデルを用いて、前記周辺情報における視線の位置を推定する推定手段と、
    前記推定手段にて推定された視線の位置と、前記視線特定手段にて特定された視線の位置との乖離度が第一の閾値未満の場合に、前記リスク予測手段にて予測されたリスク領域と、前記視線特定手段にて特定された視線の位置との乖離度に基づき、運転支援制御を切り替える制御手段と
    を有することを特徴とする運転支援装置。
  2. 前記制御手段は、
    前記リスク予測手段にて予測されたリスク領域と、前記視線特定手段にて特定された視線の位置との前記乖離度が、第二の閾値以上の場合は第一の運転支援制御を行い、前記第二の閾値未満の場合は第二の運転支援制御を行い、
    前記推定手段にて推定された視線の位置と、前記視線特定手段にて特定された視線の位置との乖離度が前記第一の閾値以上の場合は前記第一の運転支援制御を行うことを特徴とする請求項1に記載の運転支援装置
  3. 前記制御手段は、前記運転支援制御の切り替えとして、前記ドライバに対する報知の内容を切り替えることを特徴とする請求項1または2に記載の運転支援装置。
  4. 前記報知の内容の切り替えは、音量、報知タイミング、発話スピード、もしくは口調のいずれかの変更を含むことを特徴とする請求項3に記載の運転支援装置。
  5. 前記報知の内容の切り替えは、リスクの内容を直接的に報知する文言と、当該リスクの内容を間接的に報知する文言との変更を含むことを特徴とする請求項3に記載の運転支援装置。
  6. 前記報知の内容は、前記リスク領域への前記ドライバの視線を誘導するための文言であることを特徴とする請求項3乃至5のいずれか一項に記載の運転支援装置。
  7. 前記制御手段は、前記運転支援制御の切り替えとして、前記運転支援制御の制御パラメータに対する閾値を切り替えることを特徴とする請求項1乃至6のいずれか一項に記載の運転支援装置。
  8. 前記ドライバの情報に応じて、前記第一の閾値を決定する決定手段を更に有し、
    前記制御手段は、前記決定手段にて決定された前記第一の閾値を用いて、運転支援制御を切り替えることを特徴とする請求項1乃至7のいずれか一項に記載の運転支援装置。
  9. 前記ドライバの情報は、前記ドライバにて設定された前記車両の動作モード、前記ドライバの運転履歴、および前記ドライバの属性情報のいずれかを含むことを特徴とする請求項8に記載の運転支援装置。
  10. 前記車両の周辺情報を用いて、前記車両と、前記周辺情報が示す物標との衝突可能性を予測する手段を更に有し、
    前記制御手段は、前記予測された衝突可能性に応じて、前記運転支援制御を切り替えることを特徴とする請求項1乃至9のいずれか一項に記載の運転支援装置。
  11. 前記制御手段は、前記予測された衝突可能性が所定の閾値を超える場合、衝突前に衝突安全装置を動作させることを特徴とする請求項10に記載の運転支援装置。
  12. 車両の制御方法であって、
    前記車両の周辺情報を取得する情報取得工程と、
    前記周辺情報を用いて、前記車両の周辺におけるリスク領域を予測するリスク予測工程と、
    前記周辺情報における前記車両のドライバの視線の位置を特定する視線特定工程と、
    特定の属性を有するドライバの運転時における視線の位置のデータを用いて学習された学習済みモデルを用いて、前記周辺情報における視線の位置を推定する推定工程と、
    前記推定工程にて推定された視線の位置と、前記視線特定工程にて特定された視線の位置との乖離度が第一の閾値未満の場合に、前記リスク予測工程にて予測されたリスク領域と、前記視線特定工程にて特定された視線の位置との乖離度に基づき、運転支援制御を切り替える制御工程と
    を有することを特徴とする車両の制御方法。
  13. 車両に搭載されたコンピュータを、
    前記車両の周辺情報を取得する情報取得手段、
    前記周辺情報を用いて、前記車両の周辺におけるリスク領域を予測するリスク予測手段、
    前記周辺情報における前記車両のドライバの視線の位置を特定する視線特定手段、
    特定の属性を有するドライバの運転時における視線の位置のデータを用いて学習された学習済みモデルを用いて、前記周辺情報における視線の位置を推定する推定手段、
    前記推定手段にて推定された視線の位置と、前記視線特定手段にて特定された視線の位置との乖離度が第一の閾値未満の場合に、前記リスク予測手段にて予測されたリスク領域と、前記視線特定手段にて特定された視線の位置との乖離度に基づき、運転支援制御を切り替える制御手段
    として機能させるためのプログラム。
JP2019146795A 2019-08-08 2019-08-08 運転支援装置、車両の制御方法、およびプログラム Active JP7158352B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2019146795A JP7158352B2 (ja) 2019-08-08 2019-08-08 運転支援装置、車両の制御方法、およびプログラム
US16/943,100 US20210039638A1 (en) 2019-08-08 2020-07-30 Driving support apparatus, control method of vehicle, and non-transitory computer-readable storage medium
CN202311353308.XA CN117302198A (zh) 2019-08-08 2020-08-03 驾驶辅助装置以及车辆的控制方法
CN202010766801.4A CN112428988A (zh) 2019-08-08 2020-08-03 驾驶辅助装置、车辆的控制方法、以及存储介质
US18/242,205 US20230415735A1 (en) 2019-08-08 2023-09-05 Driving support apparatus, control method of vehicle, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019146795A JP7158352B2 (ja) 2019-08-08 2019-08-08 運転支援装置、車両の制御方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2021026720A JP2021026720A (ja) 2021-02-22
JP2021026720A5 JP2021026720A5 (ja) 2021-05-20
JP7158352B2 true JP7158352B2 (ja) 2022-10-21

Family

ID=74499677

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019146795A Active JP7158352B2 (ja) 2019-08-08 2019-08-08 運転支援装置、車両の制御方法、およびプログラム

Country Status (3)

Country Link
US (2) US20210039638A1 (ja)
JP (1) JP7158352B2 (ja)
CN (2) CN112428988A (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7151566B2 (ja) * 2019-03-14 2022-10-12 トヨタ自動車株式会社 車両走行制御装置
JP7116012B2 (ja) * 2019-06-06 2022-08-09 本田技研工業株式会社 車両制御装置、車両、車両制御装置の動作方法およびプログラム
JP2022145251A (ja) * 2021-03-19 2022-10-03 株式会社デンソー 運転支援装置、運転支援方法、ドライブレコーダ、運転支援制御プログラム
CN116194972A (zh) * 2021-09-28 2023-05-30 株式会社斯巴鲁 驾驶辅助装置及记录有计算机程序的记录介质
WO2023100741A1 (ja) * 2021-12-01 2023-06-08 本田技研工業株式会社 車両並びにその制御装置及び制御方法
CN115071758B (zh) * 2022-06-29 2023-03-21 杭州电子科技大学 一种基于强化学习的人机共驾控制权切换方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2008230296A (ja) 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009237776A (ja) 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
JP2019114104A (ja) 2017-12-25 2019-07-11 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2929927B2 (ja) * 1993-12-14 1999-08-03 日産自動車株式会社 走行情報提供装置
CN105083291B (zh) * 2014-04-25 2018-11-09 歌乐株式会社 基于视线检测的驾驶员辅助系统
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
JP2018097515A (ja) * 2016-12-12 2018-06-21 株式会社デンソーアイティーラボラトリ 運転支援装置、運転支援方法、およびプログラム
CN110291478B (zh) * 2016-12-22 2023-09-29 斯坦福国际研究院 驾驶员监视和响应系统
JP6617126B2 (ja) * 2017-09-15 2019-12-11 本田技研工業株式会社 走行制御システムおよび車両の制御方法
US10710590B2 (en) * 2017-12-19 2020-07-14 PlusAI Corp Method and system for risk based driving mode switching in hybrid driving
CN112041910B (zh) * 2018-03-30 2023-08-18 索尼半导体解决方案公司 信息处理装置、移动设备、方法和程序
US11325472B2 (en) * 2018-04-11 2022-05-10 Mitsubishi Electric Corporation Line-of-sight guidance device
US10746987B2 (en) * 2018-07-12 2020-08-18 Toyota Research Institute, Inc. Vehicle systems and methods for redirecting a driver's gaze towards an object of interest
WO2020208804A1 (ja) * 2019-04-12 2020-10-15 三菱電機株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
JP7345128B2 (ja) * 2019-05-20 2023-09-15 パナソニックIpマネジメント株式会社 歩行者装置および交通安全支援方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008029802A1 (fr) 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2008230296A (ja) 2007-03-16 2008-10-02 Mazda Motor Corp 車両用運転支援システム
JP2009237776A (ja) 2008-03-26 2009-10-15 Mazda Motor Corp 車両用運転支援装置
JP2019114104A (ja) 2017-12-25 2019-07-11 株式会社デンソーアイティーラボラトリ 見落し検知装置、見落し検知方法、およびプログラム

Also Published As

Publication number Publication date
US20210039638A1 (en) 2021-02-11
CN112428988A (zh) 2021-03-02
US20230415735A1 (en) 2023-12-28
JP2021026720A (ja) 2021-02-22
CN117302198A (zh) 2023-12-29

Similar Documents

Publication Publication Date Title
JP7158352B2 (ja) 運転支援装置、車両の制御方法、およびプログラム
CN110281930B (zh) 车辆控制装置、车辆、车辆控制方法以及存储介质
US11858527B2 (en) Control system for vehicle and control method for vehicle
US20200231159A1 (en) Control system of vehicle, control method of the same, and non-transitory computer-readable storage medium
US11377150B2 (en) Vehicle control apparatus, vehicle, and control method
CN109318894B (zh) 车辆驾驶辅助系统、车辆驾驶辅助方法及车辆
US20200226927A1 (en) Travel control device, travel control method, and storage medium storing program
JP2020125027A (ja) 車両並びにその制御装置及び制御方法
JPWO2019106788A1 (ja) 車両制御装置、車両、及び車両制御方法
US20200298885A1 (en) Vehicle control apparatus, vehicle control method, vehicle, and storage medium
CN112977611A (zh) 行驶辅助系统及其控制方法
JP6898388B2 (ja) 車両の制御システム、車両の制御方法、およびプログラム
JP2019034648A (ja) 走行制御装置、走行制御方法およびプログラム
JP6950015B2 (ja) 走行制御装置、車両、走行制御方法及びプログラム
JP6962996B2 (ja) 走行支援システムおよびその制御方法
JP7213149B2 (ja) 車両制御装置、車両、車両制御装置の動作方法およびプログラム
JP2022140032A (ja) 運転支援装置及び車両
CN111301418A (zh) 驾驶辅助装置及其控制方法、车辆以及存储介质
US20230014184A1 (en) Vehicle control device, vehicle, vehicle control method and storage medium
CN112977451B (zh) 行驶辅助系统及其控制方法
JP2019123449A (ja) 走行制御装置、走行制御方法およびプログラム
CN111959519B (zh) 一种辅助驾驶功能设置方法、装置、设备及介质
JP7104649B2 (ja) 車両の制御システム、車両の制御方法、およびプログラム
US20200133264A1 (en) Traveling control apparatus, traveling control method, and non-transitory computer-readable storage medium storing program
JP2023106224A (ja) 運転支援装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210125

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210329

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210409

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220603

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220705

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221007

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221011

R150 Certificate of patent or registration of utility model

Ref document number: 7158352

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150