JP7140154B2 - 車両制御装置 - Google Patents

車両制御装置 Download PDF

Info

Publication number
JP7140154B2
JP7140154B2 JP2020037067A JP2020037067A JP7140154B2 JP 7140154 B2 JP7140154 B2 JP 7140154B2 JP 2020037067 A JP2020037067 A JP 2020037067A JP 2020037067 A JP2020037067 A JP 2020037067A JP 7140154 B2 JP7140154 B2 JP 7140154B2
Authority
JP
Japan
Prior art keywords
vehicle
driver
determination unit
predetermined
condition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020037067A
Other languages
English (en)
Other versions
JP2021140423A (ja
Inventor
淑敏 関根
隆比古 ▲桑▼原
太陽 上島
祥 三栗谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020037067A priority Critical patent/JP7140154B2/ja
Priority to CN202110201316.7A priority patent/CN113353095B/zh
Priority to EP21159857.8A priority patent/EP3875330A1/en
Priority to US17/190,578 priority patent/US11472429B2/en
Publication of JP2021140423A publication Critical patent/JP2021140423A/ja
Application granted granted Critical
Publication of JP7140154B2 publication Critical patent/JP7140154B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/12Limiting control by the driver depending on vehicle state, e.g. interlocking means for the control input for preventing unsafe operation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0053Handover processes from vehicle to occupant
    • B60W60/0054Selection of occupant to assume driving tasks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005Handover processes
    • B60W60/0061Aborting handover process
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/223Posture, e.g. hand, foot, or seat position, turned or inclined
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/26Incapacity

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、車両の走行を制御する車両制御装置に関する。
車両を自動運転制御し、あるいは、ドライバによる車両の運転を支援する技術が研究されている(例えば、特許文献1~3を参照)。例えば、特許文献1には、ドライバが異常であると判定された場合に、自車両の前方を走行する先行車の情報を含む周辺情報に基づいて先行車に対する追従制御を自動的に開始し、追従制御の実施中に先行車の停止情報が取得されたら自車両を停止させるとともに追従制御を終了する技術が提案されている。
また、特許文献2には、ドライバの居眠り運転状態を検出したときに車両を自動的に減速させて停車させ所定のスピード以下しか出ないように車両を制御し、この速度抑制状態を所定時間継続させてから解除する技術が提案されている。
さらに、特許文献3には、運転者が異常状態であると推定された場合、警報を発するとともに車両に対して運転者状態判定のための制動力を付与する技術が提案されている。
特開2014-58229号公報 特開平6-156112号公報 特開2019-67243号公報
これらの技術では、ドライバが車両を正常に運転できない場合に、車両制御装置が危険回避のためにある程度自動的に自車両の挙動を制御して、ドライバ及び車両に何らかの被害が及ぶことが軽減される。しかし、ドライバがこのような車両の制御を過信して、車両の走行中に車両周囲の監視を疎かにするおそれがある。
そこで、本発明は、ドライバの異常が検知された場合の車両自身の危険回避のための制御をドライバが過信することを抑制しつつ、車両の自動運転制御が過度に制限されることを抑制可能な車両制御装置を提供することを目的とする。
一つの実施形態によれば、車両を自動運転制御可能な車両制御装置が提供される。この車両制御装置は、車両の自動運転制御を継続するための車両のドライバに関する条件を満たさないことによる車両を自動停車させる機能が動作した後において、ドライバの挙動が車両の運転制御に関するものであり、かつ、その機能が動作する前には適用されない所定の制限条件を満たすか否か判定する制限条件充足判定部と、ドライバの挙動が所定の制限条件を満たす場合に限り、車両を自動運転制御する車両制御部とを有する。
この車両制御装置は、車両を自動停車させる機能が動作した後において所定の解除条件が満たされたか否か判定し、所定の解除条件が満たされた以降において所定の制限条件が満たされなくても車両の自動運転制御を可能とする解除判定部をさらに有することが好ましい。
この場合において、所定の解除条件は、ドライバが車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続することであり、解除判定部は、車両においてドライバの頭部を撮影可能に設けられた撮像部により得られた時系列の一連の画像に基づいて、ドライバが車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続するか否かを判定することが好ましい。
また、この車両制御装置において、所定の制限条件は、ドライバが車両のステアリングを保持することであり、制限条件充足判定部は、ステアリングに設けられた検知部からドライバがステアリングを保持することを表す検知信号を受信すると、ドライバの挙動が所定の制限条件を満たすと判定することが好ましい。
本発明に係る車両制御装置は、ドライバの異常が検知された場合の車両自身の危険回避のための制御をドライバが過信することを抑制しつつ、車両の自動運転制御が過度に制限されることを抑制できるという効果を奏する。
車両制御装置が実装される車両制御システムの概略構成図である。 車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。 車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 本実施形態による車両制御処理における、所定の制限条件の適用及び解除を説明するための図である。 車両制御処理の動作フローチャートである。
以下、図を参照しつつ、車両制御装置について説明する。この車両制御装置は、ドライバが車両の前方の監視を継続している条件下で、車両を自動運転制御する。さらに、この車両制御装置は、いわゆるドライバ異常時停車支援(Driver Emergency Stop Assist, DESA)機能を有しており、車両の自動運転制御を継続するための車両のドライバに関する条件が満たされない場合、例えば、ドライバが車両の前方の監視を継続できない場合に、車両を 自動的に停車させる。そしてこの車両制御装置は、DESA機能が動作した後において、ドライバの挙動が車両の運転制御に関する所定の制限条件を満たす場合に限り、自動運転制御を適用可能とする。所定の制限条件は、DESA機能が動作する前において自動運転制御の適用を可能とするためには適用されない条件である。なお、この制限条件の詳細については後述する。さらに、この車両制御装置は、DESA機能が動作した後において、所定の解除条件が満たされると、自動運転制御の適用に関する上記の制限条件の適用を解除する。
図1は、車両制御装置が実装される車両制御システムの概略構成図である。また図2は、車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両10に搭載され、かつ、車両10を制御する車両制御システム1は、GPS受信機2と、ナビゲーション装置3と、カメラ4と、ドライバモニタカメラ5と、タッチセンサ6と、ストレージ装置7と、車両制御装置の一例である電子制御装置(ECU)8とを有する。GPS受信機2、ナビゲーション装置3、カメラ4、ドライバモニタカメラ5、タッチセンサ6及びストレージ装置7とECU8とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム1は、LIDERあるいはレーダといった、車両10から車両10の周囲に存在する物体までの距離を測定する距離センサ(図示せず)をさらに有していてもよい。さらに、車両制御システム1は、他の機器と無線通信するための無線通信端末(図示せず)を有していてもよい。さらにまた、車両制御システム1は、ドライバが車両10の走行を制御する手動運転モードと、ECU8が車両10の走行を制御する自動運転モードの何れが適用されるかを切り替えるための操作スイッチ(図示せず)を有していてもよい。
GPS受信機2は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両10の自己位置を測位する。そしてGPS受信機2は、所定の周期ごとに、GPS信号に基づく車両10の自己位置の測位結果を、車内ネットワークを介してナビゲーション装置3及びECU8へ出力する。なお、車両制御システム1は、GPS受信機2の代わりに、他の衛星測位システムに準拠した受信機を有していてもよい。
ナビゲーション装置3は、自装置上で動作するナビゲーションプログラムに従って、車両10に対するナビゲーション処理を実行する。例えば、ナビゲーション装置3は、ドライバの操作により、ナビゲーションプログラムの起動が指示され、かつ、車両10の目的地が入力されると、ナビゲーション装置3が記憶するナビゲーション用の地図を参照して、ダイクストラ法といった所定の経路探索手法に従って、車両10の現在位置から目的地までの車両10の走行ルートを決定する。なお、ナビゲーション装置3は、車両10の現在位置として、例えば、GPS受信機2から受信した、最新の測位結果による車両10の自己位置を利用することができる。
ナビゲーション装置3は、車両10の走行ルートを求めると、その走行ルートを表す情報を、車内ネットワークを介してECU8へ出力する。
カメラ4は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ4は、例えば、車両10の前方を向くように、例えば、車両10の車室内に取り付けられる。そしてカメラ4は、所定の撮影周期(例えば1/30秒~1/10秒)ごとに車両10の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ4により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両10には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。例えば、車両10の後方へ向けられたカメラが設けられてもよい。
カメラ4は、画像を生成する度に、その生成した画像を、車内ネットワークを介してECU8へ出力する。
ドライバモニタカメラ5は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された2次元検出器と、その2次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ5は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ5は、車両10の運転席に着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ5は、所定の撮影周期(例えば1/30秒~1/10秒)ごとにドライバの頭部を撮影し、ドライバの頭部が写った画像(以下、カメラ4により得られた画像と区別するために、説明の便宜上、頭部画像と呼ぶ)を生成する。ドライバモニタカメラ5により得られた頭部画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ5は、頭部画像を生成する度に、その生成した頭部画像を、車内ネットワークを介してECU8へ出力する。
タッチセンサ6は、検知部の一例であり、例えば、ステアリングに取り付けられ、ドライバがステアリングを保持している場合に、ドライバがステアリングを保持していることを表す検知信号を、車内ネットワークを介してECU8へ出力する。
ストレージ装置7は、例えば、ハードディスク装置、または、不揮発性の半導体メモリを有する。そしてストレージ装置7は、車両の自動運転制御において利用される高精度地図を記憶する。なお、高精度地図には、例えば、その高精度地図に表される所定の領域に含まれる各道路についての車線区画線または停止線といった道路標示を表す情報及び道路標識を表す情報が含まれる。
さらに、ストレージ装置7は、高精度地図の更新処理、及び、ECU8からの高精度地図の読出し要求に関する処理などを実行するためのプロセッサを有していてもよい。そしてストレージ装置7は、例えば、車両10が所定距離だけ移動する度に、無線通信端末(図示せず)を介して地図サーバへ、高精度地図の取得要求を車両10の現在位置とともに送信し、地図サーバから無線通信端末を介して車両10の現在位置の周囲の所定の領域についての高精度地図を受信してもよい。また、ストレージ装置7は、ECU8からの高精度地図の読出し要求を受信すると、記憶している高精度地図から、車両10の現在位置を含み、上記の所定の領域よりも相対的に狭い範囲を切り出して、車内ネットワークを介してECU8へ出力する。
ECU8は、車両10の走行を制御する。本実施形態では、ECU8は、自度運転モードが適用される場合、ドライバが車両10の前方の監視を継続している条件下で、車両10を自動運転制御する。また、ECU8は、頭部画像に基づいて、ドライバが車両10の前方の監視を継続できない状態になったか否か判定し、ドライバが車両10の前方の監視を継続できない状態になったと判定した場合、DESA機能を動作させて車両10を安全な位置、例えば路肩に緊急停車させる。そして一旦DESA機能が動作した後、自動運転モードが適用される場合でも、ECU8は、ドライバが所定の制限条件を満たしているか否か判定し、その制限条件が満たされている場合に限り、車両10を自動運転制御する。
図2に示されるように、ECU8は、通信インターフェース21と、メモリ22と、プロセッサ23とを有する。通信インターフェース21、メモリ22及びプロセッサ23は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。
通信インターフェース21は、ECU8を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース21は、GPS受信機2から自己位置の測位結果を受信する度に、その測位結果をプロセッサ23へわたす。また、通信インターフェース21は、カメラ4から画像を受信する度に、受信した画像をプロセッサ23へわたす。同様に、通信インターフェース21は、ドライバモニタカメラ5から頭部画像を受信する度に、受信した頭部画像をプロセッサ23へわたす。さらに、通信インターフェース21は、ナビゲーション装置3から走行ルートを受信するとその走行ルートをプロセッサ23へわたす。さらに、通信インターフェース21は、タッチセンサ6から受信した検知信号をプロセッサ23へわたす。さらにまた、通信インターフェース21は、ストレージ装置7から読み込んだ高精度地図をプロセッサ23へわたす。
メモリ22は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ22は、ECU8のプロセッサ23により実行される車両制御処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ22は、設定された運転モードを表すモードフラグ、車両10の周囲の画像、頭部画像、自己位置の測位結果、高精度地図及びカメラ4の内部パラメータなどを記憶する。また、メモリ22は、地物または他の車両などの検出に利用される、物体検出用の識別器を特定するための各種パラメータ、及び、頭部画像からドライバの顔の各部の検出、顔の向きの判定、及び、ドライバの眠気レベルの判定などに利用される各種のパラメータなどを記憶する。さらに、メモリ22は、車両制御処理の途中で生成される各種のデータを一時的に記憶する。例えば、メモリ22は、DESA機能が動作したことによる自動運転制御の制限が適用されるか否かを表す制限フラグを記憶する。
プロセッサ23は、1個または複数個のCPU(Central Processing Unit)及びその周辺回路を有する。プロセッサ23は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ23は、車両10に対する車両制御処理を実行する。
図3は、車両制御処理に関する、プロセッサ23の機能ブロック図である。プロセッサ23は、状態判定部31と、制限条件充足判定部32と、解除判定部33と、車両制御部34とを有する。プロセッサ23が有するこれらの各部は、例えば、プロセッサ23上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ23が有するこれらの各部は、プロセッサ23に設けられる、専用の演算回路であってもよい。
状態判定部31は、ドライバが車両10の前方の監視を継続可能な状態か否か判定し、ドライバが車両10の前方の監視を継続可能な状態でないと判定した場合、DESA機能を動作させる。例えば、状態判定部31は、所定の周期ごとに、直近の一定期間に得られた一連の頭部画像に基づいて、ドライバの眠気レベルを判定し、ドライバの眠気レベルが、車両10の前方の監視を行えないレベルである場合、ドライバが車両10の前方の監視を継続可能な状態でないと判定する。そのために、状態判定部31は、直近の一定期間内に得られた一連の頭部画像のそれぞれから、ドライバの視線方向、眼の開き度合い(以下、開眼度と呼ぶ)及び口の開き度合いを検出し、検出した視線方向、開眼度及び眠気レベルに基づいて、ドライバの眠気レベルを判定する。
この場合、状態判定部31は、例えば、頭部画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、その頭部画像上でドライバの顔が写っている領域(以下、顔領域と呼ぶ)を検出する。状態判定部31は、そのような識別器として、例えば、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)またはAdaBoost識別器を利用することができる。状態判定部31は、頭部画像の顔領域から、ドライバの眼及び口を検出する。その際、状態判定部31は、例えば、Sobelフィルタなどのエッジ検出フィルタを適用して顔領域内のエッジ画素を検出する。そして状態判定部31は、エッジ画素が略水平方向に連続する線を検出し、左右それぞれの眼について、顔領域内でその眼が位置すると想定される範囲内で、上下方向に並んだそのような二つの線を、その眼の上瞼及び下瞼として検出すればよい。同様に、状態判定部31は、顔領域内で口が位置すると想定される範囲内で、上下方向に並んだそのような二つの線で囲まれた領域を、ドライバの口として検出すればよい。なお、状態判定部31は、画像から眼の上瞼及び下瞼を検出する他の手法に従って、頭部画像からドライバの左右それぞれの眼の上瞼及び下瞼を検出してもよい。同様に、状態判定部31は、画像から口を検出する他の手法に従って、頭部画像からドライバの口を検出してもよい。
状態判定部31は、各頭部画像において、左右それぞれの眼の上瞼と下瞼間の距離に基づいて、ドライバの開眼度を推定する。例えば、状態判定部31は、左右それぞれの眼の上瞼と下瞼間の距離の平均値を開眼度とすればよい。なお、状態判定部31は、画像上の上瞼と下瞼から開眼度を算出する他の手法に従って開眼度を推定してもよい。そして状態判定部31は、一連の頭部画像のそれぞれにおける開眼度の時系列の変化から、開眼度が一旦極大値となってから次に極大値となるまでの時間を、ドライバの1回の瞬きの時間として算出する。そして状態判定部31は、直近の一定期間における、瞬きの回数をカウントするとともに、瞬き間の間隔の平均時間を瞬きの周期として算出する。さらに、状態判定部31は、例えば、直近の一定期間内の各頭部画像において、口の水平方向の長さに対する垂直方向の長さの比を算出し、その平均値を、ドライバの口の開き度合いとして算出する。なお、状態判定部31は、画像上において口が表された領域から、口の開き度合いを算出する他の手法に従ってドライバの口の開き度合いを算出してもよい。
さらに、状態判定部31は、各頭部画像から、ドライバの視線方向を検出する。例えば、状態判定部31は、頭部画像上に表されたドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域(以下、眼領域と呼ぶ)から光源の角膜反射像(プルキンエ像とも呼ばれる)及び瞳孔の重心(以下、単に瞳孔重心と呼ぶ)を検出する。その際、状態判定部31は、例えば、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、状態判定部31は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。なお、状態判定部31は、眼領域からプルキンエ像及び瞳孔重心を検出する他の手法に従ってプルキンエ像及び瞳孔重心を検出してもよい。そして状態判定部31は、プルキンエ像と瞳孔重心間の距離を算出し、その距離とドライバの視線方向との関係を表すテーブルを参照することで、ドライバの視線方向を検出する。なお、そのようなテーブルは、メモリ22に予め記憶されていればよい。そして状態判定部31は、直近の一定期間内の連続する二つの頭部画像の組ごとに、視線方向の移動量を求め、その移動量の平均値を、頭部画像の取得間隔で除することで、視線方向の移動速度として算出する。
状態判定部31は、瞬きの周期及び頻度、口の開き度合い及び視線方向の移動速度の少なくとも一つに基づいて、ドライバの眠気レベルを判定し、その眠気レベルが、車両10の前方の監視を行えないレベルである場合、ドライバが車両10の前方の監視を継続可能な状態でないと判定する。例えば、状態判定部31は、直近の一定期間における瞬きの回数が所定回数以上であり、瞬きの周期が所定の時間閾値よりも長く、かつ、口の開き度合いが所定の開き度合いよりも大きい場合、ドライバの眠気レベルは、車両10の前方の監視を行えないレベルであると判定する。
なお、状態判定部31は、ドライバの状態を表す他の指標に従って、ドライバが車両10の前方の監視を継続可能な状態か否かを判定してもよい。例えば、状態判定部31は、所定期間にわたって連続して頭部画像からドライバの顔または眼を検出できない場合、ドライバが車両10の前方の監視を継続可能な状態でないと判定してもよい。あるいは、状態判定部31は、所定期間にわたって連続してドライバが眼を閉じている場合、ドライバが車両10の前方の監視を継続可能な状態でないと判定してもよい。この場合、状態判定部31は、開眼度が、眼が閉じられている場合に相当する閉眼判定閾値以下である場合に、ドライバが眼を閉じていると判定すればよい。
状態判定部31は、ドライバが車両10の前方の監視を継続可能な状態でないと判定した場合、DESA機能を動作させることを車両制御部34へ指示する。そして状態判定部31は、制限フラグの値を、自動運転制御の制限が適用されることを表す値に更新する。一方、状態判定部31は、ドライバが車両10の前方の監視を継続可能な状態であると判定した場合には、DESA機能を動作させなくてよい。
制限条件充足判定部32は、一旦DESA機能が動作して、車両10の運転制御に関する所定の制限条件が適用される場合、すなわち、制限フラグの値が自動運転制御の制限が適用されることを表す値である場合において、ドライバの挙動がその制限条件を満たしているか否か判定する。
所定の制限条件は、上記のように、DESA機能が動作する前において自動運転制御の適用を可能とするためには適用されない条件である。例えば、DESA機能が動作する前において、ECU8が自動運転制御を実施するためのドライバの挙動に関する条件が、ドライバが車両10の前方の監視を継続していることであり、ドライバがステアリングを保持することまでは要求されていないとする。この場合、制限条件は、ドライバがステアリングを保持することとすることができる。このような制限条件を設定することで、自度運転制御の実行中であっても、車両10の運転制御にドライバの注意を向けさせることができるので、ドライバがDESA機能を過信することがより適切に抑制される。なお、制限条件は、この例に限られず、例えば、ブレーキペダルまたはアクセルペダルに足を乗せることであってもよい。
制限条件が、ドライバがステアリングを保持することである場合、制限条件充足判定部32は、上記の所定の制限条件が課されている間、タッチセンサ6からドライバがステアリングを保持していることを表す検知信号を受信したか否か判定する。そして制限条件充足判定部32は、ドライバがステアリングを保持していることを表す検知信号を受信していると、ドライバの挙動が制限条件を満たしていると判定する。制限条件充足判定部32は、ドライバの挙動が制限条件を満たしており、かつ、ドライバが車両10の前方の監視を継続している場合、車両制御部34へ、自動運転制御の適用が可能なことを通知する。
一方、ドライバがステアリングを保持していることを表す検知信号を受信していなければ、ドライバの挙動が制限条件を満たしていないと判定する。この場合、制限条件充足判定部32は、車室内に設けられた表示装置(図示せず)、スピーカ(図示せず)、または、ステアリングまたはドライバシートなどに設けられる振動デバイス(図示せず)を介して、ドライバへ、ステアリングを保持することを求める警告メッセージを通知してもよい。そして制限条件充足判定部32は、ドライバの挙動が制限条件を満たしていないか、あるいは、ドライバが車両10の前方の監視を継続していない場合、車両制御部34へ、自動運転制御が適用されないことを通知する。
なお、制限条件充足判定部32は、例えば、ドライバの顔の向きあるいはドライバの視線方向を直近の一定期間内の一連の頭部画像から検出し、ドライバの顔の向きまたはドライバの視線方向が車両10の前方を向いている場合、ドライバは車両10の前方を監視していると判定する。
例えば、制限条件充足判定部32は、ドライバの顔の向きに基づいてドライバが車両10の前方を監視しているか否かを判定する場合、状態判定部31と同様の処理を各頭部画像に対して実行することで、各頭部画像から顔領域を検出する。そして制限条件充足判定部32は、各頭部画像の顔領域から、目尻、目頭、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。その際、制限条件充足判定部32は、例えば、画像に表された顔の特徴点を検出するように予め学習された識別器に顔領域を入力することで、顔の特徴点を検出する。そのような識別器として、制限条件充足判定部32は、例えば、CNN型のアーキテクチャを持つNN、サポートベクトルマシンまたはAdaBoost識別器を用いることができる。あるいは、制限条件充足判定部32は、顔の特徴点を表すテンプレートと顔領域とのテンプレートマッチング、あるいは、顔の特徴点を検出する他の手法に従って、顔領域からドライバの顔の特徴点を検出してもよい。制限条件充足判定部32は、検出した顔の特徴点を、顔の3次元形状を表す3次元顔モデルにフィッティングする。そして制限条件充足判定部32は、各特徴点が3次元顔モデルに最もフィッティングする際の3次元顔モデルの顔の向きを、ドライバの顔の向きとして検出する。なお、制限条件充足判定部32は、画像に表された顔の向きを判定する他の手法に従って、頭部画像に基づいてドライバの顔の向きを検出してもよい。制限条件充足判定部32は、検出したドライバの顔の向きが、車両10の前方方向に相当する所定の角度範囲内に含まれるか否か判定し、その顔の向きが所定の角度範囲内に含まれる場合、ドライバの顔の向きが車両10の前方を向いていると判定する。一方、検出したドライバの顔の向きが所定の角度範囲から外れる場合、制限条件充足判定部32は、ドライバの顔の向きが車両10の前方を向いていないと判定する。
あるいは、制限条件充足判定部32は、ドライバの視線方向に基づいてドライバが車両10の前方を監視しているか否かを判定する場合、状態判定部31と同様の視線検出処理を各頭部画像に対して実行することで、各頭部画像からドライバの視線方向を検出すればよい。あるいは、制限条件充足判定部32は、状態判定部31から、頭部画像ごとに、その頭部画像に対する視線方向の検出結果を受け取ればよい。そして制限条件充足判定部32は、検出したドライバの視線方向が、車両10の前方方向に相当する所定の角度範囲内に含まれるか否か判定し、その視線方向が所定の角度範囲内に含まれる場合、ドライバの視線方向が車両10の前方を向いていると判定する。一方、検出したドライバの視線方向が所定の角度範囲から外れる場合、制限条件充足判定部32は、ドライバの視線方向が車両10の前方を向いていないと判定する。
制限条件充足判定部32は、何れかの頭部画像において、ドライバの顔の向きが車両10の前方を向いていないと判定した場合、あるいは、ドライバの視線方向が車両10の前方を向いていないと判定した場合、ドライバが車両10の前方の監視を継続していないと判定する。なお、ドライバは、車両10の前方だけでなく、車両10の側方あるいは後方の状況を確認するために、顔または視線方向を車両10の前方以外へ向けることもある。そこで、制限条件充足判定部32は、ドライバの顔の向きまたは視線方向が車両10の前方を向いていないとの判定が連続する期間が所定期間以上となった場合に限り、ドライバが車両10の前方の監視を継続していないと判定してもよい。
変形例によれば、制限条件充足判定部32は、ドライバの眠気レベルが車両10の前方の監視を継続可能なレベルであるか否かを追加的に判定してもよい。そして制限条件充足判定部32は、ドライバの顔の向きまたは視線方向が車両10の前方を向いており、かつ、ドライバの眠気レベルが車両10の前方の監視を継続可能なレベルである場合、ドライバが車両10の前方の監視を継続していると判定してもよい。この場合、制限条件充足判定部32は、例えば、視線の移動速度が所定の速度閾値以上であり、かつ、口の開き度合いが所定値以下である場合に、ドライバの眠気レベルが車両10の前方の監視を継続可能なレベルであると判定してもよい。
また、制限条件充足判定部32は、所定の制限条件が課されていない場合には、一連の頭部画像から、ドライバが車両10の前方の監視を継続しているか否か判定する。そして制限条件充足判定部32は、ドライバが車両10の前方の監視を継続していると判定した場合、車両制御部34へ、自動運転制御の適用が可能なことを通知する。一方、ドライバが車両10の前方の監視を継続していないと判定すると、制限条件充足判定部32は、車両制御部34へ、自動運転制御が適用されないことを通知する。さらに、設定されている運転モードが自動運転モードである場合、制限条件充足判定部32は、車室内に設けられた表示装置(図示せず)、スピーカ(図示せず)、または、ステアリングまたはドライバシートなどに設けられる振動デバイス(図示せず)を介して、ドライバへ、車両10の前方を監視することを求めるとともに自動運転制御が実行されないことを表す警告メッセージを通知してもよい。
なお、制限条件充足判定部32は、直前まで自動運転制御が適用されている場合において、現時点において車両10に自動運転制御を適用しないと判定した場合には、車室内に設けられた表示装置(図示せず)、スピーカ(図示せず)、または、ステアリングまたはドライバシートなどに設けられる振動デバイス(図示せず)を介して、ドライバへ、自動運転制御から手動運転制御に切り替わることを通知してもよい。そして制限条件充足判定部32は、その通知から一定期間が経過するまでに、自動運転制御の適用が可能と再判定しなければ、車両制御部34へ自動運転制御が適用されないことを通知するとともに、車両10に適用される運転モードを自動運転モードから手動運転モードへ移行させてもよい。
解除判定部33は、一旦DESA機能が動作して、自動運転制御を実行するために所定の制限条件が適用されている場合において、その制限条件の適用が解除されるか否かを判定する。例えば、解除判定部33は、DESA機能が動作して、車両10が停車した時点から所定の時間(例えば、1~2時間)が経過したときに、所定の制限条件の適用を解除すると判定する。あるいは、解除判定部33は、DESA機能が動作して、車両10が停車した時点から所定の距離(例えば、100km~200km)以上車両10が走行したときに、所定の制限条件の適用を解除すると判定してもよい。
あるいはまた、解除判定部33は、DESA機能が動作して、車両10が停車した時点以降において、ドライバが車両10の前方を監視できる状態が一定時間(例えば、30分~1時間)または一定の走行距離(例えば、50km~100km)にわたって継続した場合に、所定の制限条件の適用を解除すると判定してもよい。例えば、解除判定部33は、ドライバの眠気レベルが車両10の前方の監視を継続可能なレベルである状態が一定期間または一定の走行距離にわたって継続した場合に、所定の制限条件の適用を解除すると判定してもよい。このような解除条件を設定することで、自動運転制御の実行中でも、ドライバが車両10の前方の監視を怠ることが抑制される。なお、解除判定部33は、状態判定部31及び制限条件充足判定部32に関して説明したのと同様の眠気レベルの判定処理を各頭部画像に対して実行することで、ドライバの眠気レベルを判定すればよい。その際、解除判定部33は、状態判定部31または制限条件充足判定部32から、眠気レベルの判定に利用されるドライバの眠気を表す特徴量(瞬きの周期及び頻度、視線方向の移動速度等)を受け取ってもよい。あるいは、解除判定部33は、状態判定部31または制限条件充足判定部32から、眠気レベルの判定結果を受け取ってもよい。
あるいは、解除判定部33は、ドライバが車両10の周囲に存在する他の物体を視認している場合、ドライバが車両10の前方を監視できる状態であると判定してもよい。この場合、解除判定部33は、カメラ4により得られた画像から、車両10の周囲に存在する物体を検出し、画像上で検出された物体が表された領域の重心位置に基づいて、カメラ4から検出された物体への方向を求める。そして解除判定部33は、その画像取得時における、ドライバの顔の向きまたは視線方向と、検出された物体への方向との差が所定の角度差以下である場合に、ドライバがその検出された物体を視認していると判定してもよい。この場合、解除判定部33は、制限条件充足判定部32に関して説明したのと同様の顔の向きの検出処理を各頭部画像に対して実行することで、ドライバの顔の向きを検出すればよい。あるいは、解除判定部33は、制限条件充足判定部32から、各頭部画像について、ドライバの顔の向きの検出結果を受け取ってもよい。同様に、解除判定部33は、状態判定部31に関して説明したのと同様の視線検出処理を各頭部画像に対して実行することで、ドライバの視線方向を検出すればよい。あるいは、解除判定部33は、状態判定部31または制限条件充足判定部32から、各頭部画像について、ドライバの視線方向の検出結果を受け取ってもよい。
例えば、解除判定部33は、画像を識別器に入力することで、車両10の周囲に存在する物体を検出する。なお、識別器は、画像から車両といった検出対象物を検出するように予め学習される。検出対象物の検出に用いる識別器として、例えば、Single Shot MultiBox Detector(SSD)、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)が用いられる。また、車両10がLIDERセンサといった距離センサを有している場合には、解除判定部33は、その距離センサにより得られる測距信号に基づいて車両10の周囲に存在する物体を検出してもよい。
解除判定部33は、所定の制限条件の適用を解除すると判定すると、制限フラグの値を、自動運転制御の制限が適用されないことを表す値に書き換える。
図4は、本実施形態による車両制御処理における、所定の制限条件の適用及び解除を説明するための図である。図4において、横軸は時間を表す。この例では、時刻t1において、DESA機能が動作したとする。この場合、時刻t1よりも前の期間P1では、所定の制限条件は適用されずに自動運転制御が実施可能となる。すなわち、本実施形態では、ドライバが車両10の前方の監視を継続していれば、ドライバはステアリングから手を離していても、ECU8は、車両10を自動運転制御する。一方、時刻t1から、所定の制限条件の適用が解除される時刻t2までの期間P2では、所定の制限条件が満たされている場合(本実施形態では、ドライバが車両10の前方の監視を継続しているだけでなく、ステアリングを保持している場合)に限り、自動運転制御が実施可能となる。ただし、期間P2においても、例えば、所定の制限条件が満たされているか否かの判定がなされるまでは、所定の制限条件が満たされていなくても、自動運転制御が実施可能であってもよい。そして時刻t2以降の期間P3では、期間P1と同様に、所定の制限条件は適用されずに自動運転制御が実施可能となる。
車両制御部34は、自動運転モードが適用され、かつ、制限条件充足判定部32から自動運転制御の適用が可能なことが通知された場合に、車両10を自動運転制御する。本実施形態では、車両制御部34は、モードフラグの値が、自動運転モードが適用されることを表す値となっており、かつ、ドライバが車両10の前方の監視を継続している場合に、車両10を自動運転制御する。さらに、車両制御部34は、DESA機能が動作した後において所定の制限条件が適用されている間(すなわち、制限フラグの値が自動運転制御の制限が適用されることを表す値である場合)、その制限条件が満たされている場合に限り、車両10を自動運転制御する。
例えば、車両制御部34は、目的地までの走行ルートに沿って車両10が進むよう、直近の所定の区間(例えば、500m~1km)における車両10の走行予定経路(トラジェクトリ)を1以上生成する。また、車両制御部34は、DESA機能を動作させる場合には、車両10が路肩で停車するよう、走行予定経路を生成すればよい。走行予定経路は、例えば、所定の区間を車両10が走行する際の各時刻における、車両10の目標位置の集合として表される。そして車両制御部34は、その走行予定経路に沿って車両10が走行するように車両10の各部を制御する。
その際、車両制御部34は、カメラ4により得られた時系列の一連の画像のそれぞれから、車両10の周囲に存在する物体を検出する。なお、車両制御部34は、例えば、解除判定部33に関して説明したのと同様に、画像を識別器に入力することで、車両10の周囲に存在する物体を検出してもよい。あるいは、車両10がLIDERセンサといった距離センサを有している場合には、車両制御部34は、その距離センサにより得られる測距信号に基づいて車両10の周囲に存在する物体を検出してもよい。あるいはまた、解除判定部33から、各画像について、物体の検出結果を受け取ってもよい。
車両制御部34は、車両10の周囲に存在する物体と車両10とが衝突しないように走行予定経路を生成する。そのために、車両制御部34は、時系列の一連の画像等から検出された車両10の周囲に存在する物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。その際、車両制御部34は、各画像の取得時における、検出された物体に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、その検出された物体を追跡することができる。
車両制御部34は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両10間の距離の予測値が所定距離以上となるように、車両10の走行予定経路を生成する。
なお、車両制御部34は、複数の走行予定経路を生成してもよい。この場合、車両制御部34は、複数の走行予定経路のうち、車両10の加速度の絶対値の総和が最小となる経路を選択してもよい。
車両制御部34は、走行予定経路を設定すると、車両10がその走行予定経路に沿って走行するように車両10の各部を制御する。例えば、車両制御部34は、走行予定経路、及び、車速センサ(図示せず)により測定された車両10の現在の車速に従って、車両10の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部34は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両10のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部34は、設定されたブレーキ量に応じた制御信号を車両10のブレーキへ出力する。
さらに、車両制御部34は、車両10が走行予定経路に沿って走行するために車両10の進路を変更する場合には、その走行予定経路に従って車両10の操舵角を求め、その操舵角に応じた制御信号を、車両10の操舵輪を制御するアクチュエータ(図示せず)へ出力する。
図5は、プロセッサ23により実行される、車両制御処理の動作フローチャートである。プロセッサ23は、車両10に自動運転モードが適用されている場合において、所定の周期ごと、例えば、頭部画像が得られる度に、以下の動作フローチャートに従って車両制御処理を実行すればよい。
プロセッサ23の制限条件充足判定部32は、DESA機能が動作した後であるか否か判定する(ステップS101)。DESA機能が動作していない場合(ステップS101-No)、制限条件充足判定部32は、ドライバが車両10の前方を監視していると、プロセッサ23の車両制御部34に対して、車両10を自動運転制御するよう指示する。そして車両制御部34は、車両10を自動運転制御する(ステップS102)。
一方、DESA機能が動作した後である場合(ステップS101-Yes)、制限条件充足判定部32は、ドライバの挙動が所定の制限条件を満たしているか否か判定する(ステップS103)。ドライバの挙動が所定の制限条件を満たしている場合(ステップS103-Yes)、制限条件充足判定部32は、プロセッサ23の車両制御部34に対して、車両10を自動運転制御するよう指示する。そして車両制御部34は、車両10を自動運転制御する(ステップS104)。また、プロセッサ23の解除判定部33は、所定の解除条件が満たされるか否か判定する(ステップS105)。所定の解除条件が満たされる場合(ステップS105-Yes)、解除判定部33は、所定の制限条件の適用を解除し、車両10の制御状態をDESA機能が動作する前の状態に戻す(ステップS106)。
一方、ステップS103において、ドライバの挙動が所定の制限条件を満たしていない場合(ステップS103-No)、車両制御部34は、車両10に自動運転制御を適用しない(ステップS107)。すなわち、ECU8は、ドライバに車両10の運転制御を担当させる。ただしこの場合でも、車両制御部34は、DESA機能が動作する場合には、そのDESA機能に従って車両10を制御してもよい。
ステップS102、ステップS106またはステップS107の後、あるいは、ステップS105にてライバの挙動が所定の解除条件を満たしていない場合(ステップS105-No)、プロセッサ23は、車両制御処理を終了する。
なお、プロセッサ23の状態判定部31は、上記の動作フローチャートとは別個に、所定の周期ごとにDESA機能を動作させるか否かを判定してもよい。そして状態判定部31がDESA機能を動作させると判定した場合には、車両制御部34は、上記の動作フローチャートによる処理よりも優先して、車両10を緊急停車させ、かつ、制限フラグの値を、所定の制限条件が適用されることを表す値に書き換えればよい。
以上に説明してきたように、この車両制御装置は、一旦DESA機能が動作すると、DESA機能が動作する前には適用されていない所定の制限条件を、ドライバの挙動が満たす場合に限り、車両を自動運転制御する。そのため、この車両制御装置は、ドライバがDESA機能を過信して車両の周囲の監視を怠ることを抑制しつつ、自動運転制御の適用が過度に制限されてドライバの利便性が損なわれることを抑制できる。さらに、この車両制御装置は、DESA機能が動作した後に、所定の解除条件が満たされると、所定の制限条件の適用を解除するので、何時までもその制限条件が課されることでドライバの利便性が損なわれることを抑制できる。
変形例によれば、DESA機能が動作するまでは、自動運転モードの適用時において、ドライバが車両10の前方を監視していなくても、ECU8は、車両10を自動運転制御してもよい。この場合には、所定の制限条件として、ドライバが車両10の前方の監視を継続していることが課されてもよい。この場合、制限条件充足判定部32は、一旦DESA機能が動作して所定の制限条件が適用されている間、上記の実施形態と同様の処理を実行して、ドライバが車両10の前方の監視を継続しているか否かを判定すればよい。そして制限条件充足判定部32は、ドライバが車両10の前方の監視を継続していれば、車両制御部34に対して、自動運転制御の適用が可能なことを通知すればよい。一方、ドライバが車両10の前方を監視していなければ、制限条件充足判定部32は、車室内に設けられた表示装置(図示せず)、スピーカ(図示せず)、または、ステアリングまたはドライバシートなどに設けられる振動デバイス(図示せず)を介して、ドライバへ、車両10の前方を監視することを求めるとともに自動運転制御が実行されないことを表す警告メッセージを通知してもよい。
以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。
1 車両制御システム
10 車両
2 GPS受信機
3 ナビゲーション装置
4 カメラ
5 ドライバモニタカメラ
6 タッチセンサ
7 ストレージ装置
8 電子制御装置(ECU)
21 通信インターフェース
22 メモリ
23 プロセッサ
31 状態判定部
32 制限条件充足判定部
33 解除判定部
34 車両制御部

Claims (3)

  1. 車両を自動運転制御可能な車両制御装置であって、
    前記車両の自動運転制御を継続するための前記車両のドライバに関する条件を満たさないことによる前記車両を自動停車させる機能が動作した後において、前記ドライバの挙動が、前記車両の運転制御に関するものであり、かつ、前記機能が動作する前には適用されない所定の制限条件を満たすか否か判定する制限条件充足判定部と、
    前記ドライバの挙動が前記所定の制限条件を満たす場合に限り、前記車両を自動運転制御する車両制御部と、
    前記機能が動作した後において所定の解除条件が満たされたか否か判定し、前記所定の解除条件が満たされた以降において前記所定の制限条件が満たされなくても前記車両の自動運転制御を可能とする解除判定部と、
    を有する車両制御装置。
  2. 前記所定の解除条件は、前記ドライバが前記車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続することであり、
    前記解除判定部は、前記車両において前記ドライバの頭部を撮影可能に設けられた撮像部により得られた時系列の一連の画像に基づいて、前記ドライバが前記車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続するか否かを判定する、請求項に記載の車両制御装置。
  3. 前記所定の制限条件は、前記ドライバが前記車両のステアリングを保持することであり、前記制限条件充足判定部は、前記ステアリングに設けられた検知部から前記ドライバが前記ステアリングを保持することを表す検知信号を受信すると、前記ドライバの挙動が前記所定の制限条件を満たすと判定する、請求項1または2に記載の車両制御装置。
JP2020037067A 2020-03-04 2020-03-04 車両制御装置 Active JP7140154B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020037067A JP7140154B2 (ja) 2020-03-04 2020-03-04 車両制御装置
CN202110201316.7A CN113353095B (zh) 2020-03-04 2021-02-23 车辆控制装置
EP21159857.8A EP3875330A1 (en) 2020-03-04 2021-03-01 Vehicle controller
US17/190,578 US11472429B2 (en) 2020-03-04 2021-03-03 Vehicle controller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020037067A JP7140154B2 (ja) 2020-03-04 2020-03-04 車両制御装置

Publications (2)

Publication Number Publication Date
JP2021140423A JP2021140423A (ja) 2021-09-16
JP7140154B2 true JP7140154B2 (ja) 2022-09-21

Family

ID=74853524

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020037067A Active JP7140154B2 (ja) 2020-03-04 2020-03-04 車両制御装置

Country Status (4)

Country Link
US (1) US11472429B2 (ja)
EP (1) EP3875330A1 (ja)
JP (1) JP7140154B2 (ja)
CN (1) CN113353095B (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11912307B2 (en) * 2020-03-18 2024-02-27 Waymo Llc Monitoring head movements of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
US11654933B2 (en) * 2020-11-10 2023-05-23 GM Global Technology Operations LLC Navigation trajectory using reinforcement learning for an ego vehicle in a navigation network
US20240111282A1 (en) * 2022-09-29 2024-04-04 Narma Co. Ltd. Uav delivery for munitions and uav operation station

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144808A (ja) 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両制御装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06156112A (ja) 1992-11-30 1994-06-03 Isuzu Motors Ltd 居眠り運転防止装置
JP5919150B2 (ja) 2012-09-18 2016-05-18 ダイムラー・アクチェンゲゼルシャフトDaimler AG 運転支援装置
EP3114574A4 (en) * 2014-03-03 2018-03-07 Inrix, Inc. Traffic obstruction detection
EP3683623B1 (en) * 2014-06-23 2021-09-29 Honda Motor Co., Ltd. System and method for responding to driver state
JP2016196285A (ja) * 2015-04-03 2016-11-24 株式会社デンソー 走行制御装置及び走行制御方法
JP6552316B2 (ja) * 2015-07-29 2019-07-31 修一 田山 車輌の自動運転システム
EP3657465A4 (en) * 2017-07-21 2020-10-21 Sony Semiconductor Solutions Corporation VEHICLE CONTROL DEVICE AND VEHICLE CONTROL PROCEDURE
JP6590300B2 (ja) 2017-10-03 2019-10-16 マツダ株式会社 運転支援装置
JP2019074791A (ja) * 2017-10-12 2019-05-16 株式会社デンソー 車両用運転支援装置
JP2019127238A (ja) 2018-01-26 2019-08-01 三菱自動車工業株式会社 車両の制御装置
JP7089885B2 (ja) * 2018-02-01 2022-06-23 フォルシアクラリオン・エレクトロニクス株式会社 運転支援装置、及び運転支援方法
JP6929810B2 (ja) * 2018-03-02 2021-09-01 本田技研工業株式会社 車両制御装置
US11036222B2 (en) * 2018-04-27 2021-06-15 International Business Machines Corporation Autonomous analysis of the driver's behavior
CN110077414B (zh) * 2019-04-04 2020-12-01 合肥思艾汽车科技有限公司 一种基于驾驶员状态监测的车辆行驶安全保障方法及系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017144808A (ja) 2016-02-16 2017-08-24 トヨタ自動車株式会社 車両制御装置

Also Published As

Publication number Publication date
JP2021140423A (ja) 2021-09-16
CN113353095B (zh) 2024-05-14
EP3875330A1 (en) 2021-09-08
CN113353095A (zh) 2021-09-07
US20210276581A1 (en) 2021-09-09
US11472429B2 (en) 2022-10-18

Similar Documents

Publication Publication Date Title
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
US11209819B2 (en) Vehicle driving control system
JP6950346B2 (ja) 運転者状態把握装置、運転者状態把握システム、及び運転者状態把握方法
WO2018186127A1 (ja) 走行支援装置
JP7140154B2 (ja) 車両制御装置
US11001271B2 (en) Drive assistance device
CN113264047B (zh) 车辆控制装置及存储车辆控制用程序的非易失性存储介质
US11648940B2 (en) Vehicle driving control system
US10994740B2 (en) Vehicle driving control system
JP6683185B2 (ja) 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
WO2018230245A1 (ja) 走行支援装置、制御プログラム、コンピュータ読み出し可能持続的有形記録媒体
US11072324B2 (en) Vehicle and control method thereof
US20220169284A1 (en) Vehicle control device
JP2023044333A (ja) 車両制御装置、車両制御方法及び車両制御用コンピュータプログラム
JP2022013937A (ja) 運転計画装置及び運転計画用コンピュータプログラム
US20230249686A1 (en) Controller, method, and computer program for vehicle control
JP4345526B2 (ja) 物体監視装置
JP7272257B2 (ja) 車両制御装置
JP2022007157A (ja) 車両制御装置
JP2018094294A (ja) 状態推定システム
WO2020179112A1 (ja) リスク取得システム、リスク表示システムおよびリスク取得プログラム
US20230391370A1 (en) Vehicle control device, storage medium for storing computer program for vehicle control, and method for controlling vehicle
US12080082B2 (en) Act-of-looking-aside determination device
JP7358958B2 (ja) 運転意識推定装置
JP2024068440A (ja) 運転支援装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220512

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220524

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220614

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220822

R151 Written notification of patent or utility model registration

Ref document number: 7140154

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151