JP7140154B2 - 車両制御装置 - Google Patents

Description

本発明は、車両の走行を制御する車両制御装置に関する。

車両を自動運転制御し、あるいは、ドライバによる車両の運転を支援する技術が研究されている（例えば、特許文献１～３を参照）。例えば、特許文献１には、ドライバが異常であると判定された場合に、自車両の前方を走行する先行車の情報を含む周辺情報に基づいて先行車に対する追従制御を自動的に開始し、追従制御の実施中に先行車の停止情報が取得されたら自車両を停止させるとともに追従制御を終了する技術が提案されている。

また、特許文献２には、ドライバの居眠り運転状態を検出したときに車両を自動的に減速させて停車させ所定のスピード以下しか出ないように車両を制御し、この速度抑制状態を所定時間継続させてから解除する技術が提案されている。

さらに、特許文献３には、運転者が異常状態であると推定された場合、警報を発するとともに車両に対して運転者状態判定のための制動力を付与する技術が提案されている。

特開２０１４－５８２２９号公報 特開平６－１５６１１２号公報 特開２０１９－６７２４３号公報

これらの技術では、ドライバが車両を正常に運転できない場合に、車両制御装置が危険回避のためにある程度自動的に自車両の挙動を制御して、ドライバ及び車両に何らかの被害が及ぶことが軽減される。しかし、ドライバがこのような車両の制御を過信して、車両の走行中に車両周囲の監視を疎かにするおそれがある。

そこで、本発明は、ドライバの異常が検知された場合の車両自身の危険回避のための制御をドライバが過信することを抑制しつつ、車両の自動運転制御が過度に制限されることを抑制可能な車両制御装置を提供することを目的とする。

一つの実施形態によれば、車両を自動運転制御可能な車両制御装置が提供される。この車両制御装置は、車両の自動運転制御を継続するための車両のドライバに関する条件を満たさないことによる車両を自動停車させる機能が動作した後において、ドライバの挙動が車両の運転制御に関するものであり、かつ、その機能が動作する前には適用されない所定の制限条件を満たすか否か判定する制限条件充足判定部と、ドライバの挙動が所定の制限条件を満たす場合に限り、車両を自動運転制御する車両制御部とを有する。

この車両制御装置は、車両を自動停車させる機能が動作した後において所定の解除条件が満たされたか否か判定し、所定の解除条件が満たされた以降において所定の制限条件が満たされなくても車両の自動運転制御を可能とする解除判定部をさらに有することが好ましい。

この場合において、所定の解除条件は、ドライバが車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続することであり、解除判定部は、車両においてドライバの頭部を撮影可能に設けられた撮像部により得られた時系列の一連の画像に基づいて、ドライバが車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続するか否かを判定することが好ましい。

また、この車両制御装置において、所定の制限条件は、ドライバが車両のステアリングを保持することであり、制限条件充足判定部は、ステアリングに設けられた検知部からドライバがステアリングを保持することを表す検知信号を受信すると、ドライバの挙動が所定の制限条件を満たすと判定することが好ましい。

本発明に係る車両制御装置は、ドライバの異常が検知された場合の車両自身の危険回避のための制御をドライバが過信することを抑制しつつ、車両の自動運転制御が過度に制限されることを抑制できるという効果を奏する。

車両制御装置が実装される車両制御システムの概略構成図である。 車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。 車両制御処理に関する、電子制御装置のプロセッサの機能ブロック図である。 本実施形態による車両制御処理における、所定の制限条件の適用及び解除を説明するための図である。 車両制御処理の動作フローチャートである。

以下、図を参照しつつ、車両制御装置について説明する。この車両制御装置は、ドライバが車両の前方の監視を継続している条件下で、車両を自動運転制御する。さらに、この車両制御装置は、いわゆるドライバ異常時停車支援（Driver Emergency Stop Assist, DESA）機能を有しており、車両の自動運転制御を継続するための車両のドライバに関する条件が満たされない場合、例えば、ドライバが車両の前方の監視を継続できない場合に、車両を 自動的に停車させる。そしてこの車両制御装置は、DESA機能が動作した後において、ドライバの挙動が車両の運転制御に関する所定の制限条件を満たす場合に限り、自動運転制御を適用可能とする。所定の制限条件は、DESA機能が動作する前において自動運転制御の適用を可能とするためには適用されない条件である。なお、この制限条件の詳細については後述する。さらに、この車両制御装置は、DESA機能が動作した後において、所定の解除条件が満たされると、自動運転制御の適用に関する上記の制限条件の適用を解除する。

図１は、車両制御装置が実装される車両制御システムの概略構成図である。また図２は、車両制御装置の一つの実施形態である電子制御装置のハードウェア構成図である。本実施形態では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１は、GPS受信機２と、ナビゲーション装置３と、カメラ４と、ドライバモニタカメラ５と、タッチセンサ６と、ストレージ装置７と、車両制御装置の一例である電子制御装置（ＥＣＵ）８とを有する。GPS受信機２、ナビゲーション装置３、カメラ４、ドライバモニタカメラ５、タッチセンサ６及びストレージ装置７とＥＣＵ８とは、コントローラエリアネットワークといった規格に準拠した車内ネットワークを介して通信可能に接続される。なお、車両制御システム１は、LIDERあるいはレーダといった、車両１０から車両１０の周囲に存在する物体までの距離を測定する距離センサ（図示せず）をさらに有していてもよい。さらに、車両制御システム１は、他の機器と無線通信するための無線通信端末（図示せず）を有していてもよい。さらにまた、車両制御システム１は、ドライバが車両１０の走行を制御する手動運転モードと、ＥＣＵ８が車両１０の走行を制御する自動運転モードの何れが適用されるかを切り替えるための操作スイッチ（図示せず）を有していてもよい。

GPS受信機２は、所定の周期ごとにGPS衛星からのGPS信号を受信し、受信したGPS信号に基づいて車両１０の自己位置を測位する。そしてGPS受信機２は、所定の周期ごとに、GPS信号に基づく車両１０の自己位置の測位結果を、車内ネットワークを介してナビゲーション装置３及びＥＣＵ８へ出力する。なお、車両制御システム１は、GPS受信機２の代わりに、他の衛星測位システムに準拠した受信機を有していてもよい。

ナビゲーション装置３は、自装置上で動作するナビゲーションプログラムに従って、車両１０に対するナビゲーション処理を実行する。例えば、ナビゲーション装置３は、ドライバの操作により、ナビゲーションプログラムの起動が指示され、かつ、車両１０の目的地が入力されると、ナビゲーション装置３が記憶するナビゲーション用の地図を参照して、ダイクストラ法といった所定の経路探索手法に従って、車両１０の現在位置から目的地までの車両１０の走行ルートを決定する。なお、ナビゲーション装置３は、車両１０の現在位置として、例えば、GPS受信機２から受信した、最新の測位結果による車両１０の自己位置を利用することができる。
ナビゲーション装置３は、車両１０の走行ルートを求めると、その走行ルートを表す情報を、車内ネットワークを介してＥＣＵ８へ出力する。

カメラ４は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。そしてカメラ４は、例えば、車両１０の前方を向くように、例えば、車両１０の車室内に取り付けられる。そしてカメラ４は、所定の撮影周期（例えば1/30秒～1/10秒）ごとに車両１０の前方領域を撮影し、その前方領域が写った画像を生成する。カメラ４により得られた画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。なお、車両１０には、撮影方向または焦点距離が異なる複数のカメラが設けられてもよい。例えば、車両１０の後方へ向けられたカメラが設けられてもよい。

カメラ４は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ８へ出力する。

ドライバモニタカメラ５は、撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ５は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ５は、車両１０の運転席に着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ５は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバの頭部を撮影し、ドライバの頭部が写った画像（以下、カメラ4により得られた画像と区別するために、説明の便宜上、頭部画像と呼ぶ）を生成する。ドライバモニタカメラ５により得られた頭部画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ５は、頭部画像を生成する度に、その生成した頭部画像を、車内ネットワークを介してＥＣＵ８へ出力する。

タッチセンサ６は、検知部の一例であり、例えば、ステアリングに取り付けられ、ドライバがステアリングを保持している場合に、ドライバがステアリングを保持していることを表す検知信号を、車内ネットワークを介してＥＣＵ８へ出力する。

ストレージ装置７は、例えば、ハードディスク装置、または、不揮発性の半導体メモリを有する。そしてストレージ装置７は、車両の自動運転制御において利用される高精度地図を記憶する。なお、高精度地図には、例えば、その高精度地図に表される所定の領域に含まれる各道路についての車線区画線または停止線といった道路標示を表す情報及び道路標識を表す情報が含まれる。

さらに、ストレージ装置７は、高精度地図の更新処理、及び、ＥＣＵ８からの高精度地図の読出し要求に関する処理などを実行するためのプロセッサを有していてもよい。そしてストレージ装置７は、例えば、車両１０が所定距離だけ移動する度に、無線通信端末（図示せず）を介して地図サーバへ、高精度地図の取得要求を車両１０の現在位置とともに送信し、地図サーバから無線通信端末を介して車両１０の現在位置の周囲の所定の領域についての高精度地図を受信してもよい。また、ストレージ装置７は、ＥＣＵ８からの高精度地図の読出し要求を受信すると、記憶している高精度地図から、車両１０の現在位置を含み、上記の所定の領域よりも相対的に狭い範囲を切り出して、車内ネットワークを介してＥＣＵ８へ出力する。

ＥＣＵ８は、車両１０の走行を制御する。本実施形態では、ＥＣＵ８は、自度運転モードが適用される場合、ドライバが車両１０の前方の監視を継続している条件下で、車両１０を自動運転制御する。また、ＥＣＵ８は、頭部画像に基づいて、ドライバが車両１０の前方の監視を継続できない状態になったか否か判定し、ドライバが車両１０の前方の監視を継続できない状態になったと判定した場合、DESA機能を動作させて車両１０を安全な位置、例えば路肩に緊急停車させる。そして一旦DESA機能が動作した後、自動運転モードが適用される場合でも、ＥＣＵ８は、ドライバが所定の制限条件を満たしているか否か判定し、その制限条件が満たされている場合に限り、車両１０を自動運転制御する。

図２に示されるように、ＥＣＵ８は、通信インターフェース２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、ＥＣＵ８を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、GPS受信機２から自己位置の測位結果を受信する度に、その測位結果をプロセッサ２３へわたす。また、通信インターフェース２１は、カメラ４から画像を受信する度に、受信した画像をプロセッサ２３へわたす。同様に、通信インターフェース２１は、ドライバモニタカメラ５から頭部画像を受信する度に、受信した頭部画像をプロセッサ２３へわたす。さらに、通信インターフェース２１は、ナビゲーション装置３から走行ルートを受信するとその走行ルートをプロセッサ２３へわたす。さらに、通信インターフェース２１は、タッチセンサ６から受信した検知信号をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、ストレージ装置７から読み込んだ高精度地図をプロセッサ２３へわたす。

メモリ２２は、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ８のプロセッサ２３により実行される車両制御処理において使用される各種のアルゴリズム及び各種のデータを記憶する。例えば、メモリ２２は、設定された運転モードを表すモードフラグ、車両１０の周囲の画像、頭部画像、自己位置の測位結果、高精度地図及びカメラ４の内部パラメータなどを記憶する。また、メモリ２２は、地物または他の車両などの検出に利用される、物体検出用の識別器を特定するための各種パラメータ、及び、頭部画像からドライバの顔の各部の検出、顔の向きの判定、及び、ドライバの眠気レベルの判定などに利用される各種のパラメータなどを記憶する。さらに、メモリ２２は、車両制御処理の途中で生成される各種のデータを一時的に記憶する。例えば、メモリ２２は、DESA機能が動作したことによる自動運転制御の制限が適用されるか否かを表す制限フラグを記憶する。

プロセッサ２３は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、車両１０に対する車両制御処理を実行する。

図３は、車両制御処理に関する、プロセッサ２３の機能ブロック図である。プロセッサ２３は、状態判定部３１と、制限条件充足判定部３２と、解除判定部３３と、車両制御部３４とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。

状態判定部３１は、ドライバが車両１０の前方の監視を継続可能な状態か否か判定し、ドライバが車両１０の前方の監視を継続可能な状態でないと判定した場合、DESA機能を動作させる。例えば、状態判定部３１は、所定の周期ごとに、直近の一定期間に得られた一連の頭部画像に基づいて、ドライバの眠気レベルを判定し、ドライバの眠気レベルが、車両１０の前方の監視を行えないレベルである場合、ドライバが車両１０の前方の監視を継続可能な状態でないと判定する。そのために、状態判定部３１は、直近の一定期間内に得られた一連の頭部画像のそれぞれから、ドライバの視線方向、眼の開き度合い（以下、開眼度と呼ぶ）及び口の開き度合いを検出し、検出した視線方向、開眼度及び眠気レベルに基づいて、ドライバの眠気レベルを判定する。

この場合、状態判定部３１は、例えば、頭部画像を、画像からドライバの顔を検出するように予め学習された識別器に入力することで、その頭部画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出する。状態判定部３１は、そのような識別器として、例えば、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)またはAdaBoost識別器を利用することができる。状態判定部３１は、頭部画像の顔領域から、ドライバの眼及び口を検出する。その際、状態判定部３１は、例えば、Sobelフィルタなどのエッジ検出フィルタを適用して顔領域内のエッジ画素を検出する。そして状態判定部３１は、エッジ画素が略水平方向に連続する線を検出し、左右それぞれの眼について、顔領域内でその眼が位置すると想定される範囲内で、上下方向に並んだそのような二つの線を、その眼の上瞼及び下瞼として検出すればよい。同様に、状態判定部３１は、顔領域内で口が位置すると想定される範囲内で、上下方向に並んだそのような二つの線で囲まれた領域を、ドライバの口として検出すればよい。なお、状態判定部３１は、画像から眼の上瞼及び下瞼を検出する他の手法に従って、頭部画像からドライバの左右それぞれの眼の上瞼及び下瞼を検出してもよい。同様に、状態判定部３１は、画像から口を検出する他の手法に従って、頭部画像からドライバの口を検出してもよい。

状態判定部３１は、各頭部画像において、左右それぞれの眼の上瞼と下瞼間の距離に基づいて、ドライバの開眼度を推定する。例えば、状態判定部３１は、左右それぞれの眼の上瞼と下瞼間の距離の平均値を開眼度とすればよい。なお、状態判定部３１は、画像上の上瞼と下瞼から開眼度を算出する他の手法に従って開眼度を推定してもよい。そして状態判定部３１は、一連の頭部画像のそれぞれにおける開眼度の時系列の変化から、開眼度が一旦極大値となってから次に極大値となるまでの時間を、ドライバの1回の瞬きの時間として算出する。そして状態判定部３１は、直近の一定期間における、瞬きの回数をカウントするとともに、瞬き間の間隔の平均時間を瞬きの周期として算出する。さらに、状態判定部３１は、例えば、直近の一定期間内の各頭部画像において、口の水平方向の長さに対する垂直方向の長さの比を算出し、その平均値を、ドライバの口の開き度合いとして算出する。なお、状態判定部３１は、画像上において口が表された領域から、口の開き度合いを算出する他の手法に従ってドライバの口の開き度合いを算出してもよい。

さらに、状態判定部３１は、各頭部画像から、ドライバの視線方向を検出する。例えば、状態判定部３１は、頭部画像上に表されたドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域（以下、眼領域と呼ぶ）から光源の角膜反射像（プルキンエ像とも呼ばれる）及び瞳孔の重心（以下、単に瞳孔重心と呼ぶ）を検出する。その際、状態判定部３１は、例えば、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、状態判定部３１は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。なお、状態判定部３１は、眼領域からプルキンエ像及び瞳孔重心を検出する他の手法に従ってプルキンエ像及び瞳孔重心を検出してもよい。そして状態判定部３１は、プルキンエ像と瞳孔重心間の距離を算出し、その距離とドライバの視線方向との関係を表すテーブルを参照することで、ドライバの視線方向を検出する。なお、そのようなテーブルは、メモリ２２に予め記憶されていればよい。そして状態判定部３１は、直近の一定期間内の連続する二つの頭部画像の組ごとに、視線方向の移動量を求め、その移動量の平均値を、頭部画像の取得間隔で除することで、視線方向の移動速度として算出する。

状態判定部３１は、瞬きの周期及び頻度、口の開き度合い及び視線方向の移動速度の少なくとも一つに基づいて、ドライバの眠気レベルを判定し、その眠気レベルが、車両１０の前方の監視を行えないレベルである場合、ドライバが車両１０の前方の監視を継続可能な状態でないと判定する。例えば、状態判定部３１は、直近の一定期間における瞬きの回数が所定回数以上であり、瞬きの周期が所定の時間閾値よりも長く、かつ、口の開き度合いが所定の開き度合いよりも大きい場合、ドライバの眠気レベルは、車両１０の前方の監視を行えないレベルであると判定する。

なお、状態判定部３１は、ドライバの状態を表す他の指標に従って、ドライバが車両１０の前方の監視を継続可能な状態か否かを判定してもよい。例えば、状態判定部３１は、所定期間にわたって連続して頭部画像からドライバの顔または眼を検出できない場合、ドライバが車両１０の前方の監視を継続可能な状態でないと判定してもよい。あるいは、状態判定部３１は、所定期間にわたって連続してドライバが眼を閉じている場合、ドライバが車両１０の前方の監視を継続可能な状態でないと判定してもよい。この場合、状態判定部３１は、開眼度が、眼が閉じられている場合に相当する閉眼判定閾値以下である場合に、ドライバが眼を閉じていると判定すればよい。

状態判定部３１は、ドライバが車両１０の前方の監視を継続可能な状態でないと判定した場合、DESA機能を動作させることを車両制御部３４へ指示する。そして状態判定部３１は、制限フラグの値を、自動運転制御の制限が適用されることを表す値に更新する。一方、状態判定部３１は、ドライバが車両１０の前方の監視を継続可能な状態であると判定した場合には、DESA機能を動作させなくてよい。

制限条件充足判定部３２は、一旦DESA機能が動作して、車両１０の運転制御に関する所定の制限条件が適用される場合、すなわち、制限フラグの値が自動運転制御の制限が適用されることを表す値である場合において、ドライバの挙動がその制限条件を満たしているか否か判定する。

所定の制限条件は、上記のように、DESA機能が動作する前において自動運転制御の適用を可能とするためには適用されない条件である。例えば、DESA機能が動作する前において、ＥＣＵ８が自動運転制御を実施するためのドライバの挙動に関する条件が、ドライバが車両１０の前方の監視を継続していることであり、ドライバがステアリングを保持することまでは要求されていないとする。この場合、制限条件は、ドライバがステアリングを保持することとすることができる。このような制限条件を設定することで、自度運転制御の実行中であっても、車両１０の運転制御にドライバの注意を向けさせることができるので、ドライバがDESA機能を過信することがより適切に抑制される。なお、制限条件は、この例に限られず、例えば、ブレーキペダルまたはアクセルペダルに足を乗せることであってもよい。

制限条件が、ドライバがステアリングを保持することである場合、制限条件充足判定部３２は、上記の所定の制限条件が課されている間、タッチセンサ６からドライバがステアリングを保持していることを表す検知信号を受信したか否か判定する。そして制限条件充足判定部３２は、ドライバがステアリングを保持していることを表す検知信号を受信していると、ドライバの挙動が制限条件を満たしていると判定する。制限条件充足判定部３２は、ドライバの挙動が制限条件を満たしており、かつ、ドライバが車両１０の前方の監視を継続している場合、車両制御部３４へ、自動運転制御の適用が可能なことを通知する。

一方、ドライバがステアリングを保持していることを表す検知信号を受信していなければ、ドライバの挙動が制限条件を満たしていないと判定する。この場合、制限条件充足判定部３２は、車室内に設けられた表示装置（図示せず）、スピーカ（図示せず）、または、ステアリングまたはドライバシートなどに設けられる振動デバイス（図示せず）を介して、ドライバへ、ステアリングを保持することを求める警告メッセージを通知してもよい。そして制限条件充足判定部３２は、ドライバの挙動が制限条件を満たしていないか、あるいは、ドライバが車両１０の前方の監視を継続していない場合、車両制御部３４へ、自動運転制御が適用されないことを通知する。

なお、制限条件充足判定部３２は、例えば、ドライバの顔の向きあるいはドライバの視線方向を直近の一定期間内の一連の頭部画像から検出し、ドライバの顔の向きまたはドライバの視線方向が車両１０の前方を向いている場合、ドライバは車両１０の前方を監視していると判定する。

例えば、制限条件充足判定部３２は、ドライバの顔の向きに基づいてドライバが車両１０の前方を監視しているか否かを判定する場合、状態判定部３１と同様の処理を各頭部画像に対して実行することで、各頭部画像から顔領域を検出する。そして制限条件充足判定部３２は、各頭部画像の顔領域から、目尻、目頭、鼻尖点、口角点等のドライバの顔の複数の特徴点を検出する。その際、制限条件充足判定部３２は、例えば、画像に表された顔の特徴点を検出するように予め学習された識別器に顔領域を入力することで、顔の特徴点を検出する。そのような識別器として、制限条件充足判定部３２は、例えば、CNN型のアーキテクチャを持つNN、サポートベクトルマシンまたはAdaBoost識別器を用いることができる。あるいは、制限条件充足判定部３２は、顔の特徴点を表すテンプレートと顔領域とのテンプレートマッチング、あるいは、顔の特徴点を検出する他の手法に従って、顔領域からドライバの顔の特徴点を検出してもよい。制限条件充足判定部３２は、検出した顔の特徴点を、顔の３次元形状を表す３次元顔モデルにフィッティングする。そして制限条件充足判定部３２は、各特徴点が３次元顔モデルに最もフィッティングする際の３次元顔モデルの顔の向きを、ドライバの顔の向きとして検出する。なお、制限条件充足判定部３２は、画像に表された顔の向きを判定する他の手法に従って、頭部画像に基づいてドライバの顔の向きを検出してもよい。制限条件充足判定部３２は、検出したドライバの顔の向きが、車両１０の前方方向に相当する所定の角度範囲内に含まれるか否か判定し、その顔の向きが所定の角度範囲内に含まれる場合、ドライバの顔の向きが車両１０の前方を向いていると判定する。一方、検出したドライバの顔の向きが所定の角度範囲から外れる場合、制限条件充足判定部３２は、ドライバの顔の向きが車両１０の前方を向いていないと判定する。

あるいは、制限条件充足判定部３２は、ドライバの視線方向に基づいてドライバが車両１０の前方を監視しているか否かを判定する場合、状態判定部３１と同様の視線検出処理を各頭部画像に対して実行することで、各頭部画像からドライバの視線方向を検出すればよい。あるいは、制限条件充足判定部３２は、状態判定部３１から、頭部画像ごとに、その頭部画像に対する視線方向の検出結果を受け取ればよい。そして制限条件充足判定部３２は、検出したドライバの視線方向が、車両１０の前方方向に相当する所定の角度範囲内に含まれるか否か判定し、その視線方向が所定の角度範囲内に含まれる場合、ドライバの視線方向が車両１０の前方を向いていると判定する。一方、検出したドライバの視線方向が所定の角度範囲から外れる場合、制限条件充足判定部３２は、ドライバの視線方向が車両１０の前方を向いていないと判定する。

制限条件充足判定部３２は、何れかの頭部画像において、ドライバの顔の向きが車両１０の前方を向いていないと判定した場合、あるいは、ドライバの視線方向が車両１０の前方を向いていないと判定した場合、ドライバが車両１０の前方の監視を継続していないと判定する。なお、ドライバは、車両１０の前方だけでなく、車両１０の側方あるいは後方の状況を確認するために、顔または視線方向を車両１０の前方以外へ向けることもある。そこで、制限条件充足判定部３２は、ドライバの顔の向きまたは視線方向が車両１０の前方を向いていないとの判定が連続する期間が所定期間以上となった場合に限り、ドライバが車両１０の前方の監視を継続していないと判定してもよい。

変形例によれば、制限条件充足判定部３２は、ドライバの眠気レベルが車両１０の前方の監視を継続可能なレベルであるか否かを追加的に判定してもよい。そして制限条件充足判定部３２は、ドライバの顔の向きまたは視線方向が車両１０の前方を向いており、かつ、ドライバの眠気レベルが車両１０の前方の監視を継続可能なレベルである場合、ドライバが車両１０の前方の監視を継続していると判定してもよい。この場合、制限条件充足判定部３２は、例えば、視線の移動速度が所定の速度閾値以上であり、かつ、口の開き度合いが所定値以下である場合に、ドライバの眠気レベルが車両１０の前方の監視を継続可能なレベルであると判定してもよい。

また、制限条件充足判定部３２は、所定の制限条件が課されていない場合には、一連の頭部画像から、ドライバが車両１０の前方の監視を継続しているか否か判定する。そして制限条件充足判定部３２は、ドライバが車両１０の前方の監視を継続していると判定した場合、車両制御部３４へ、自動運転制御の適用が可能なことを通知する。一方、ドライバが車両１０の前方の監視を継続していないと判定すると、制限条件充足判定部３２は、車両制御部３４へ、自動運転制御が適用されないことを通知する。さらに、設定されている運転モードが自動運転モードである場合、制限条件充足判定部３２は、車室内に設けられた表示装置（図示せず）、スピーカ（図示せず）、または、ステアリングまたはドライバシートなどに設けられる振動デバイス（図示せず）を介して、ドライバへ、車両１０の前方を監視することを求めるとともに自動運転制御が実行されないことを表す警告メッセージを通知してもよい。

なお、制限条件充足判定部３２は、直前まで自動運転制御が適用されている場合において、現時点において車両１０に自動運転制御を適用しないと判定した場合には、車室内に設けられた表示装置（図示せず）、スピーカ（図示せず）、または、ステアリングまたはドライバシートなどに設けられる振動デバイス（図示せず）を介して、ドライバへ、自動運転制御から手動運転制御に切り替わることを通知してもよい。そして制限条件充足判定部３２は、その通知から一定期間が経過するまでに、自動運転制御の適用が可能と再判定しなければ、車両制御部３４へ自動運転制御が適用されないことを通知するとともに、車両１０に適用される運転モードを自動運転モードから手動運転モードへ移行させてもよい。

解除判定部３３は、一旦DESA機能が動作して、自動運転制御を実行するために所定の制限条件が適用されている場合において、その制限条件の適用が解除されるか否かを判定する。例えば、解除判定部３３は、DESA機能が動作して、車両１０が停車した時点から所定の時間（例えば、1～2時間）が経過したときに、所定の制限条件の適用を解除すると判定する。あるいは、解除判定部３３は、DESA機能が動作して、車両１０が停車した時点から所定の距離（例えば、100km～200km）以上車両１０が走行したときに、所定の制限条件の適用を解除すると判定してもよい。

あるいはまた、解除判定部３３は、DESA機能が動作して、車両１０が停車した時点以降において、ドライバが車両１０の前方を監視できる状態が一定時間（例えば、30分～１時間）または一定の走行距離（例えば、50km～100km）にわたって継続した場合に、所定の制限条件の適用を解除すると判定してもよい。例えば、解除判定部３３は、ドライバの眠気レベルが車両１０の前方の監視を継続可能なレベルである状態が一定期間または一定の走行距離にわたって継続した場合に、所定の制限条件の適用を解除すると判定してもよい。このような解除条件を設定することで、自動運転制御の実行中でも、ドライバが車両１０の前方の監視を怠ることが抑制される。なお、解除判定部３３は、状態判定部３１及び制限条件充足判定部３２に関して説明したのと同様の眠気レベルの判定処理を各頭部画像に対して実行することで、ドライバの眠気レベルを判定すればよい。その際、解除判定部３３は、状態判定部３１または制限条件充足判定部３２から、眠気レベルの判定に利用されるドライバの眠気を表す特徴量（瞬きの周期及び頻度、視線方向の移動速度等）を受け取ってもよい。あるいは、解除判定部３３は、状態判定部３１または制限条件充足判定部３２から、眠気レベルの判定結果を受け取ってもよい。

あるいは、解除判定部３３は、ドライバが車両１０の周囲に存在する他の物体を視認している場合、ドライバが車両１０の前方を監視できる状態であると判定してもよい。この場合、解除判定部３３は、カメラ４により得られた画像から、車両１０の周囲に存在する物体を検出し、画像上で検出された物体が表された領域の重心位置に基づいて、カメラ４から検出された物体への方向を求める。そして解除判定部３３は、その画像取得時における、ドライバの顔の向きまたは視線方向と、検出された物体への方向との差が所定の角度差以下である場合に、ドライバがその検出された物体を視認していると判定してもよい。この場合、解除判定部３３は、制限条件充足判定部３２に関して説明したのと同様の顔の向きの検出処理を各頭部画像に対して実行することで、ドライバの顔の向きを検出すればよい。あるいは、解除判定部３３は、制限条件充足判定部３２から、各頭部画像について、ドライバの顔の向きの検出結果を受け取ってもよい。同様に、解除判定部３３は、状態判定部３１に関して説明したのと同様の視線検出処理を各頭部画像に対して実行することで、ドライバの視線方向を検出すればよい。あるいは、解除判定部３３は、状態判定部３１または制限条件充足判定部３２から、各頭部画像について、ドライバの視線方向の検出結果を受け取ってもよい。

例えば、解除判定部３３は、画像を識別器に入力することで、車両１０の周囲に存在する物体を検出する。なお、識別器は、画像から車両といった検出対象物を検出するように予め学習される。検出対象物の検出に用いる識別器として、例えば、Single Shot MultiBox Detector(SSD)、または、Faster R-CNNといった、コンボリューショナルニューラルネットワーク型(CNN)のアーキテクチャを持つディープニューラルネットワーク(DNN)が用いられる。また、車両１０がLIDERセンサといった距離センサを有している場合には、解除判定部３３は、その距離センサにより得られる測距信号に基づいて車両１０の周囲に存在する物体を検出してもよい。

解除判定部３３は、所定の制限条件の適用を解除すると判定すると、制限フラグの値を、自動運転制御の制限が適用されないことを表す値に書き換える。

図４は、本実施形態による車両制御処理における、所定の制限条件の適用及び解除を説明するための図である。図４において、横軸は時間を表す。この例では、時刻t1において、DESA機能が動作したとする。この場合、時刻t1よりも前の期間P1では、所定の制限条件は適用されずに自動運転制御が実施可能となる。すなわち、本実施形態では、ドライバが車両１０の前方の監視を継続していれば、ドライバはステアリングから手を離していても、ＥＣＵ８は、車両１０を自動運転制御する。一方、時刻t1から、所定の制限条件の適用が解除される時刻t2までの期間P2では、所定の制限条件が満たされている場合（本実施形態では、ドライバが車両１０の前方の監視を継続しているだけでなく、ステアリングを保持している場合）に限り、自動運転制御が実施可能となる。ただし、期間P2においても、例えば、所定の制限条件が満たされているか否かの判定がなされるまでは、所定の制限条件が満たされていなくても、自動運転制御が実施可能であってもよい。そして時刻t2以降の期間P3では、期間P1と同様に、所定の制限条件は適用されずに自動運転制御が実施可能となる。

車両制御部３４は、自動運転モードが適用され、かつ、制限条件充足判定部３２から自動運転制御の適用が可能なことが通知された場合に、車両１０を自動運転制御する。本実施形態では、車両制御部３４は、モードフラグの値が、自動運転モードが適用されることを表す値となっており、かつ、ドライバが車両１０の前方の監視を継続している場合に、車両１０を自動運転制御する。さらに、車両制御部３４は、DESA機能が動作した後において所定の制限条件が適用されている間（すなわち、制限フラグの値が自動運転制御の制限が適用されることを表す値である場合）、その制限条件が満たされている場合に限り、車両１０を自動運転制御する。

例えば、車両制御部３４は、目的地までの走行ルートに沿って車両１０が進むよう、直近の所定の区間（例えば、500m～1km）における車両１０の走行予定経路（トラジェクトリ）を１以上生成する。また、車両制御部３４は、DESA機能を動作させる場合には、車両１０が路肩で停車するよう、走行予定経路を生成すればよい。走行予定経路は、例えば、所定の区間を車両１０が走行する際の各時刻における、車両１０の目標位置の集合として表される。そして車両制御部３４は、その走行予定経路に沿って車両１０が走行するように車両１０の各部を制御する。

その際、車両制御部３４は、カメラ４により得られた時系列の一連の画像のそれぞれから、車両１０の周囲に存在する物体を検出する。なお、車両制御部３４は、例えば、解除判定部３３に関して説明したのと同様に、画像を識別器に入力することで、車両１０の周囲に存在する物体を検出してもよい。あるいは、車両１０がLIDERセンサといった距離センサを有している場合には、車両制御部３４は、その距離センサにより得られる測距信号に基づいて車両１０の周囲に存在する物体を検出してもよい。あるいはまた、解除判定部３３から、各画像について、物体の検出結果を受け取ってもよい。

車両制御部３４は、車両１０の周囲に存在する物体と車両１０とが衝突しないように走行予定経路を生成する。そのために、車両制御部３４は、時系列の一連の画像等から検出された車両１０の周囲に存在する物体を追跡し、その追跡結果により得られた軌跡から、物体のそれぞれの所定時間先までの予測軌跡を推定する。その際、車両制御部３４は、各画像の取得時における、検出された物体に対してKalman FilterまたはParticle Filterなどを用いたトラッキング処理を実行することで、その検出された物体を追跡することができる。

車両制御部３４は、追跡中の各物体の予測軌跡に基づいて、何れの物体についても所定時間先までの追跡中の物体のそれぞれと車両１０間の距離の予測値が所定距離以上となるように、車両１０の走行予定経路を生成する。
なお、車両制御部３４は、複数の走行予定経路を生成してもよい。この場合、車両制御部３４は、複数の走行予定経路のうち、車両１０の加速度の絶対値の総和が最小となる経路を選択してもよい。

車両制御部３４は、走行予定経路を設定すると、車両１０がその走行予定経路に沿って走行するように車両１０の各部を制御する。例えば、車両制御部３４は、走行予定経路、及び、車速センサ（図示せず）により測定された車両１０の現在の車速に従って、車両１０の加速度を求め、その加速度となるようにアクセル開度またはブレーキ量を設定する。そして車両制御部３４は、設定されたアクセル開度に従って燃料噴射量を求め、その燃料噴射量に応じた制御信号を車両１０のエンジンの燃料噴射装置へ出力する。あるいは、車両制御部３４は、設定されたブレーキ量に応じた制御信号を車両１０のブレーキへ出力する。

さらに、車両制御部３４は、車両１０が走行予定経路に沿って走行するために車両１０の進路を変更する場合には、その走行予定経路に従って車両１０の操舵角を求め、その操舵角に応じた制御信号を、車両１０の操舵輪を制御するアクチュエータ（図示せず）へ出力する。

図５は、プロセッサ２３により実行される、車両制御処理の動作フローチャートである。プロセッサ２３は、車両１０に自動運転モードが適用されている場合において、所定の周期ごと、例えば、頭部画像が得られる度に、以下の動作フローチャートに従って車両制御処理を実行すればよい。

プロセッサ２３の制限条件充足判定部３２は、DESA機能が動作した後であるか否か判定する（ステップＳ１０１）。DESA機能が動作していない場合（ステップＳ１０１－Ｎｏ）、制限条件充足判定部３２は、ドライバが車両１０の前方を監視していると、プロセッサ２３の車両制御部３４に対して、車両１０を自動運転制御するよう指示する。そして車両制御部３４は、車両１０を自動運転制御する（ステップＳ１０２）。

一方、DESA機能が動作した後である場合（ステップＳ１０１－Ｙｅｓ）、制限条件充足判定部３２は、ドライバの挙動が所定の制限条件を満たしているか否か判定する（ステップＳ１０３）。ドライバの挙動が所定の制限条件を満たしている場合（ステップＳ１０３－Ｙｅｓ）、制限条件充足判定部３２は、プロセッサ２３の車両制御部３４に対して、車両１０を自動運転制御するよう指示する。そして車両制御部３４は、車両１０を自動運転制御する（ステップＳ１０４）。また、プロセッサ２３の解除判定部３３は、所定の解除条件が満たされるか否か判定する（ステップＳ１０５）。所定の解除条件が満たされる場合（ステップＳ１０５－Ｙｅｓ）、解除判定部３３は、所定の制限条件の適用を解除し、車両１０の制御状態をDESA機能が動作する前の状態に戻す（ステップＳ１０６）。

一方、ステップＳ１０３において、ドライバの挙動が所定の制限条件を満たしていない場合（ステップＳ１０３－Ｎｏ）、車両制御部３４は、車両１０に自動運転制御を適用しない（ステップＳ１０７）。すなわち、ＥＣＵ８は、ドライバに車両１０の運転制御を担当させる。ただしこの場合でも、車両制御部３４は、DESA機能が動作する場合には、そのDESA機能に従って車両１０を制御してもよい。

ステップＳ１０２、ステップＳ１０６またはステップＳ１０７の後、あるいは、ステップＳ１０５にてライバの挙動が所定の解除条件を満たしていない場合（ステップＳ１０５－Ｎｏ）、プロセッサ２３は、車両制御処理を終了する。

なお、プロセッサ２３の状態判定部３１は、上記の動作フローチャートとは別個に、所定の周期ごとにDESA機能を動作させるか否かを判定してもよい。そして状態判定部３１がDESA機能を動作させると判定した場合には、車両制御部３４は、上記の動作フローチャートによる処理よりも優先して、車両１０を緊急停車させ、かつ、制限フラグの値を、所定の制限条件が適用されることを表す値に書き換えればよい。

以上に説明してきたように、この車両制御装置は、一旦DESA機能が動作すると、DESA機能が動作する前には適用されていない所定の制限条件を、ドライバの挙動が満たす場合に限り、車両を自動運転制御する。そのため、この車両制御装置は、ドライバがDESA機能を過信して車両の周囲の監視を怠ることを抑制しつつ、自動運転制御の適用が過度に制限されてドライバの利便性が損なわれることを抑制できる。さらに、この車両制御装置は、DESA機能が動作した後に、所定の解除条件が満たされると、所定の制限条件の適用を解除するので、何時までもその制限条件が課されることでドライバの利便性が損なわれることを抑制できる。

変形例によれば、DESA機能が動作するまでは、自動運転モードの適用時において、ドライバが車両１０の前方を監視していなくても、ＥＣＵ８は、車両１０を自動運転制御してもよい。この場合には、所定の制限条件として、ドライバが車両１０の前方の監視を継続していることが課されてもよい。この場合、制限条件充足判定部３２は、一旦DESA機能が動作して所定の制限条件が適用されている間、上記の実施形態と同様の処理を実行して、ドライバが車両１０の前方の監視を継続しているか否かを判定すればよい。そして制限条件充足判定部３２は、ドライバが車両１０の前方の監視を継続していれば、車両制御部３４に対して、自動運転制御の適用が可能なことを通知すればよい。一方、ドライバが車両１０の前方を監視していなければ、制限条件充足判定部３２は、車室内に設けられた表示装置（図示せず）、スピーカ（図示せず）、または、ステアリングまたはドライバシートなどに設けられる振動デバイス（図示せず）を介して、ドライバへ、車両１０の前方を監視することを求めるとともに自動運転制御が実行されないことを表す警告メッセージを通知してもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１ 車両制御システム
１０ 車両
２ GPS受信機
３ ナビゲーション装置
４ カメラ
５ ドライバモニタカメラ
６ タッチセンサ
７ ストレージ装置
８ 電子制御装置(ＥＣＵ)
２１ 通信インターフェース
２２ メモリ
２３ プロセッサ
３１ 状態判定部
３２ 制限条件充足判定部
３３ 解除判定部
３４ 車両制御部

Claims (3)

1. 車両を自動運転制御可能な車両制御装置であって、
   前記車両の自動運転制御を継続するための前記車両のドライバに関する条件を満たさないことによる前記車両を自動停車させる機能が動作した後において、前記ドライバの挙動が、前記車両の運転制御に関するものであり、かつ、前記機能が動作する前には適用されない所定の制限条件を満たすか否か判定する制限条件充足判定部と、
   前記ドライバの挙動が前記所定の制限条件を満たす場合に限り、前記車両を自動運転制御する車両制御部と、
   前記機能が動作した後において所定の解除条件が満たされたか否か判定し、前記所定の解除条件が満たされた以降において前記所定の制限条件が満たされなくても前記車両の自動運転制御を可能とする解除判定部と、
   を有する車両制御装置。
2. 前記所定の解除条件は、前記ドライバが前記車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続することであり、
   前記解除判定部は、前記車両において前記ドライバの頭部を撮影可能に設けられた撮像部により得られた時系列の一連の画像に基づいて、前記ドライバが前記車両の前方を監視できる状態が一定時間または一定の走行距離にわたって継続するか否かを判定する、請求項１に記載の車両制御装置。
3. 前記所定の制限条件は、前記ドライバが前記車両のステアリングを保持することであり、前記制限条件充足判定部は、前記ステアリングに設けられた検知部から前記ドライバが前記ステアリングを保持することを表す検知信号を受信すると、前記ドライバの挙動が前記所定の制限条件を満たすと判定する、請求項１または２に記載の車両制御装置。

Images