JP2024068440A

JP2024068440A - 運転支援装置

Info

Publication number: JP2024068440A
Application number: JP2022178892A
Authority: JP
Inventors: 匡駿佐野; Masataka Sano
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2022-11-08
Filing date: 2022-11-08
Publication date: 2024-05-20

Abstract

【課題】ドライバの運転習熟度に応じた適切なタイミングで警報を出す。【解決手段】運転支援装置は、車両１０のドライバの運転習熟度を記憶する記憶部と、ドライバモニタカメラ３により生成されたドライバ画像からドライバの視線方向を検出する視線方向検出部３３と、車両の周囲の状況を検知するセンサにより生成されたセンサ信号に基づいて車両の周囲を走行する周辺車両を検出する周辺車両検出部３１と、車両と周辺車両間の距離が接近判定閾値以下になると周辺車両は車両に接近すると判定する接近判定部３２と、周辺車両が車両に接近すると判定された場合にドライバの視線方向が周辺車両を視認できる方向を向いていない未確認期間が時間閾値以上であるか否か判定する注視判定部３４と、未確認期間が時間閾値以上である場合にドライバに警報を出す通知処理部３５と、ドライバの運転習熟度が高いほど時間閾値を長くする閾値設定部３６とを有する。【選択図】図３

Description

本発明は、運転支援装置に関する。

ドライバモニタカメラにより生成されたドライバの画像に基づいてドライバの視線を検出し、検出した視線に応じてドライバが車両の運転に適切な行動を取っているか否かを判定する技術が提案されている（特許文献１を参照）。

特許文献１に開示された技術では、情報処理装置は、車両の走行環境に基づいてドライバが目を向けるべき視線領域を予測し、車両に搭載されたセンサの出力に基づいてドライバの視線領域を検出し、予測された目を向けるべき視線領域と検出された視線領域との適合性を判定し、不適合である場合、ドライバに警報を出す。また、特許文献１には、後方監視装置が後方から自車に相当な速度で接近する車両を検出すると、ドライバの視線がバックミラーに向くと予測することが開示されている。

特開２００２－８３４００号公報

自車両の後方から接近する他の車両が存在する場合、ドライバがその他の車両に気付いて適切な運転行動を取るための反応時間はドライバの運転習熟度によって異なる。そのため、ドライバの運転習熟度によらずに一律の条件で警報を出すと、運転に慣れたドライバにとっては煩わしさを感じることがある。逆に、運転に慣れていないドライバにとっては、警報が遅すぎてドライバが適切な運転行動を取れないおそれがある。

そこで、本発明は、ドライバの運転習熟度に応じた適切なタイミングで警報を出すことができる運転支援装置を提供することを目的とする。

本発明の一態様は、車両のドライバの運転習熟度を記憶する記憶部と、前記車両に設けられたドライバモニタカメラにより生成された前記ドライバの顔が表された一連のドライバ画像のそれぞれから前記ドライバの視線方向を検出する視線方向検出部と、前記車両の周囲の状況を検知するセンサにより生成された一連のセンサ信号のそれぞれに基づいて、前記車両の周囲を走行する周辺車両を検出する周辺車両検出部と、前記車両と前記周辺車両間の距離を推定し、推定した距離が所定の接近判定閾値以下になると前記周辺車両は前記車両に接近すると判定する接近判定部と、前記周辺車両が前記車両に接近すると判定された場合において、前記ドライバの視線方向が前記周辺車両を視認できる方向を向いていない未確認期間が所定の時間閾値以上であるか否か判定する注視判定部と、前記未確認期間が前記時間閾値以上である場合、前記車両に設けられた通知機器を介して前記ドライバに警報を出す通知処理部と、前記ドライバの運転習熟度が高いほど、前記時間閾値を長くする閾値設定部と、を有する運転支援装置である。

本発明によれば、ドライバの運転習熟度に応じた適切なタイミングで警報を出すことができる。

第１実施形態の運転支援装置を含む車両制御システム１の概略構成の一例を示す図である。ＥＣＵ５のハードウェア構成の一例を示す図である。車両１０のドライバに警報を出す処理を含む車両１０の運転制御処理に関するプロセッサ２３の機能ブロックの一例を示す図である。距離推定処理の一例を説明するための図である。プロセッサ２３によって実行される車両１０のドライバに警報を出す処理の一例を説明するためのフローチャートである。

以下、図面を参照し、本発明の運転支援装置の実施形態について説明する。

＜第１実施形態＞
図１は第１実施形態の運転支援装置を含む車両制御システム１の概略構成の一例を示す図である。図１に示す例では、車両１０に搭載され、かつ、車両１０を制御する車両制御システム１が、車外カメラ２と、ドライバモニタカメラ３と、通知機器４と、運転支援装置の一例である電子制御装置（ＥＣＵ）５とを有する。車外カメラ２、ドライバモニタカメラ３及び通知機器４と、ＥＣＵ５とは、コントローラエリアネットワークといった通信規格に準拠した車内ネットワークを介して互いに通信可能に接続される。

図１に示す例では、車両制御システム１が、SAE(Society of Automotive Engineers)の定義によるレベル３の運転制御レベル、すなわち、ドライバによるアクセル、ブレーキ及びステアリングの操作及び車両周囲の監視を必要としない運転制御レベルにて車両１０を制御することが可能となっている。更に、車両制御システム１は、ドライバが車両１０の運転に関与する運転制御レベル、例えば、SAEの定義によるレベル０～２の運転制御レベルにて車両１０を制御することが可能となっている。
他の例では、車両制御システム１が、例えばドライバによるアクセル、ブレーキ及びステアリングの操作及び車両周囲の監視を必要としない運転制御レベルにて車両１０を制御する機能等を有さなくてもよい。

図１に示す例では、車外カメラ２が、車両１０の周囲の状況を検知するセンサとして機能し、車両１０の周辺の領域を撮影してその周辺の領域が表された画像（例えば後方車両、側道から自車線に合流してくる車両等のような周辺車両を含む画像）を生成する。車外カメラ２は、車両１０の周囲の状況の検知結果を示すセンサ信号を生成する。詳細には、車外カメラ２は、車両１０の周囲の状況の検知結果を時系列に示す一連のセンサ信号を生成する。車外カメラ２は、センサ信号を生成する度に、その生成したセンサ信号を、車内ネットワークを介してＥＣＵ５へ出力する。
図１に示す例では、車両制御システム１が車両１０の周囲の状況を検知するセンサとして車外カメラ２を有するが、他の例では、車両制御システム１が、車両１０の周囲の状況を検知するセンサとして、LiDAR(Light Detection And Ranging)あるいはレーダといった、車両１０から車両１０の周囲に存在する物体（例えば周辺車両など）までの距離を測定する距離センサ（図示せず）を有していてもよい。

図１に示す例では、ドライバモニタカメラ３が、撮像部の一例であり、CCDあるいはC-MOSなど、可視光または赤外光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ３は、赤外LEDといったドライバを照明するための光源をさらに有していてもよい。そしてドライバモニタカメラ３は、車両１０のドライバシートに着座したドライバの頭部がその撮影対象領域に含まれるように、すなわち、ドライバの頭部を撮影可能なように、例えば、インストルメントパネルまたはその近傍にドライバへ向けて取り付けられる。そしてドライバモニタカメラ３は、所定の撮影周期（例えば1/30秒～1/10秒）ごとにドライバを撮影し、ドライバの顔が表された一連の画像（以下、ドライバ画像と呼ぶ）を生成する。ドライバモニタカメラ３により得られたドライバ画像は、カラー画像であってもよく、あるいは、グレー画像であってもよい。ドライバモニタカメラ３は、ドライバ画像を生成する度に、その生成したドライバ画像を、車内ネットワークを介してＥＣＵ５へ出力する。

通知機器４は、車両１０の車室内に設けられ、ドライバに対して、光、音声、振動、文字表示あるいは画像表示にて所定の通知を行う機器である。そのために、通知機器４は、例えば、スピーカ、光源、振動子あるいは表示装置の少なくとも何れかを有する。そして通知機器４は、ドライバに警報を出す通知をＥＣＵ５から受け取ると、スピーカからの音声、光源の発光または点滅、振動子の振動、あるいは、表示装置への警告メッセージの表示により、ドライバに警報を出す。

ＥＣＵ５は、車両１０に適用される運転制御レベルに従って車両１０を運転制御する。さらに、ＥＣＵ５は、車外カメラ２又は距離センサから受け取ったセンサ信号及びドライバモニタカメラ３から受け取ったドライバ画像に基づいて、ドライバの運転支援を行う。具体的には、ＥＣＵ５は、例えばドライバが例えば後方車両などの周辺車両の確認を怠っている場合などに、通知機器４を介してドライバに警報を出すことによって、周辺車両の確認をドライバに促すことができる。

図２はＥＣＵ５のハードウェア構成の一例を示す図である。図２に示す例では、ＥＣＵ５が、通信インターフェース（Ｉ／Ｆ）２１と、メモリ２２と、プロセッサ２３とを有する。通信インターフェース２１、メモリ２２及びプロセッサ２３は、それぞれ、別個の回路として構成されてもよく、あるいは、一つの集積回路として一体的に構成されてもよい。

通信インターフェース２１は、ＥＣＵ５を車内ネットワークに接続するためのインターフェース回路を有する。そして通信インターフェース２１は、車外カメラ２又は距離センサから受信したセンサ信号をプロセッサ２３へわたす。また、通信インターフェース２１は、ドライバモニタカメラ３からドライバ画像を受信する度に、受信したドライバ画像をプロセッサ２３へわたす。さらにまた、通信インターフェース２１は、ドライバに警報を出すための通知といった、通知機器４を介してドライバに出される警報を示す情報をプロセッサ２３から受け取ると、その情報を通知機器４へ出力する。

図２に示す例では、メモリ２２が、記憶部の一例であり、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有する。そしてメモリ２２は、ＥＣＵ５のプロセッサ２３により実行される処理において使用される各種のアルゴリズム及び各種のデータを記憶する。メモリ２２は、各種のデータとして、例えば車両１０のドライバに警報を出す処理に用いられる各種のパラメータなどを記憶する。メモリ２２は、各種のパラメータとして、例えば車両１０のドライバの運転習熟度、後述する接近判定閾値、後述する時間閾値などを記憶する。また、メモリ２２は、上述したセンサ信号、上述したドライバ画像及び車両１０のドライバに警報を出す処理の途中で生成される各種のデータを一時的に記憶する。さらに、メモリ２２は、車両１０を運転制御するために利用される各種のパラメータ及び各種のデータを記憶する。そのようなデータには、後方車両を含む画像を撮影する車外カメラ２により生成されたセンサ信号（画像）、前方車両を含む画像を撮影する車外カメラ（図示せず）により生成された画像、車両１０の周辺に存在する物体（例えば周辺車両など）までの距離を測定する距離センサにより生成された測距信号、GPS(Global Positioning System)受信機（図示せず）により生成された車両１０の位置を表す測位信号、ナビゲーション装置（図示せず）により生成された走行予定ルート、及び、車両１０の自動運転制御において参照される地図情報が含まれる。
車両制御システム１が車両１０の自動運転制御を行う機能を有さない他の例では、メモリ２２が記憶するデータに、上述した測位信号、地図情報などが含まれなくてもよい。

図２に示す例では、プロセッサ２３が、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ２３は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。そしてプロセッサ２３は、所定の周期ごとに、車両１０のドライバに警報を出す処理などを実行する。

図２に示す例では、プロセッサ２３が、ドライバモニタカメラ３によって生成された一連のドライバ画像から得られる車両１０のドライバによる周囲の確認頻度に基づいて、車両１０のドライバの運転習熟度を算出（判定）し、メモリ２２に記憶させる。プロセッサ２３は、車両１０のドライバによる周囲の確認頻度が高いほど、車両１０のドライバの運転習熟度として高い値を算出する。
他の例では、車両１０に設けられた加速度センサ（図示せず）等が車両１０の急加速急減速の有無を検出し、プロセッサ２３が、その検出結果に基づいて車両１０のドライバの運転習熟度を算出（判定）してもよい。プロセッサ２３は、車両１０の急加速急減速が少ないほど、車両１０のドライバの運転習熟度として高い値を算出する。
さらに他の例では、車両１０に設けられた加速度センサ等が車両１０の横加速度を検出し、プロセッサ２３が、車両１０の横加速度の標準偏差などに基づいて車両１０のドライバの運転習熟度を算出（判定）してもよい。プロセッサ２３は、車両１０の横加速度の標準偏差が小さいほど、車両１０のドライバの運転習熟度として高い値を算出する。

図３は車両１０のドライバに警報を出す処理を含む車両１０の運転制御処理に関するプロセッサ２３の機能ブロックの一例を示す図である。
図３に示す例では、プロセッサ２３が、周辺車両検出部３１と、接近判定部３２と、視線方向検出部３３と、注視判定部３４と、通知処理部３５と、閾値設定部３６と、車両制御部３７とを有する。プロセッサ２３が有するこれらの各部は、例えば、プロセッサ２３上で動作するコンピュータプログラムにより実現される機能モジュールである。あるいは、プロセッサ２３が有するこれらの各部は、プロセッサ２３に設けられる、専用の演算回路であってもよい。なお、プロセッサ２３が有するこれらの各部のうち、周辺車両検出部３１、接近判定部３２、視線方向検出部３３、注視判定部３４、通知処理部３５及び閾値設定部３６により実行される処理が車両１０のドライバに警報を出す処理に対応する。

図３に示す例では、周辺車両検出部３１が、車両１０の周囲の状況を検知する車外カメラ２により生成された一連のセンサ信号（画像）のそれぞれに基づいて、車両１０の周囲を走行する周辺車両４１０（例えば後方車両など）（図４参照）を検出する。例えば、周辺車両検出部３１は、車外カメラ２により生成された時系列の一連の画像のそれぞれにおいて、その画像に写っている検出対象となる後方車両を検出して、その後方車両が表された領域（例えば、検出対象となる後方車両の外接矩形、以下、物体領域と呼ぶ）を特定する。さらに、周辺車両検出部３１は、検出された後方車両について、その後方車両のクラスに属する複数の種類のそれぞれについて確信度を算出する。

例えば、周辺車両検出部３１は、車外カメラ２から画像を取得する度に、その画像をメモリ２２に記憶するとともに、その画像を、物体検出用の第１の識別器に入力することで、入力された画像に表された検出対象となる物体を検出する。周辺車両検出部３１は、第１の識別器として、例えば、入力された画像から、その画像に表された物体を検出するように予め学習されたディープニューラルネットワーク(DNN)を用いることができる。周辺車両検出部３１は、そのようなDNNとして、例えば、Single Shot MultiBox Detector(SSD)(Wei Liu他、「SSD: Single Shot MultiBox Detector」、ECCV2016、2016年を参照)、または、Faster R-CNN(Shaoqing Ren他、「Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks」、NIPS、2015年)といった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つDNNを用いることができる。この場合、周辺車両検出部３１が画像をDNNタイプの第１の識別器に入力することで、第１の識別器は、入力された画像上の様々な領域において、検出対象となる物体のクラス（例えば、車両、人、路上静止物体）ごとに、その物体がその領域に表されている確からしさを表す確信度を算出する。そして、周辺車両検出部３１は、何れかのクラスについての確信度が所定の検出閾値以上となる領域に、そのクラスの物体が表されていると判定する。例えば、画像上の或る領域について、「車両」について算出された確信度が確信度閾値以上となる場合、第１の識別器は、その領域に「車両」が表されていると判定する。そして第１の識別器は、入力された画像上での物体領域を表す情報、及び、物体領域に表された物体のクラスを表す情報を出力する。

あるいは、周辺車両検出部３１は、第１の識別器として、DNN以外の識別器を用いてもよい。例えば、周辺車両検出部３１は、第１の識別器として、画像上に設定されるウィンドウから算出される特徴量(例えば、Histograms of Oriented Gradients, HOG)を入力として、そのウィンドウに検出対象となる物体が表される確信度を出力するように予め学習されたサポートベクトルマシン(SVM)を用いてもよい。周辺車両検出部３１は、画像上に設定するウィンドウの位置、サイズ及びアスペクト比を様々に変更しながら、そのウィンドウから特徴量を算出し、算出した特徴量をSVMへ入力することで、そのウィンドウについて確信度を求める。そして周辺車両検出部３１は、確信度が所定の検出閾値以上である場合、そのウィンドウを、検出対象となる物体が表された物体領域とする。

画像上において検出対象となる物体が表された物体領域が特定されると、周辺車両検出部３１は、特定された物体領域を第２の識別器に入力することで、その物体のクラスに属する種類ごとの確信度を算出する。例えば、物体領域において「車両」が検出されていると、第２の識別器は、「車両」のクラスに属する種類である「普通乗用車」、「バス」及び「トラック」のそれぞれについて確信度を算出する。周辺車両検出部３１は、第２の識別器として、例えば、入力された物体領域から、その物体領域に表された物体の種類ごとの確信度を算出するように予め学習されたCNNを用いることができる。また、周辺車両検出部３１は、第２の識別器として、CNN以外の識別器、例えば、物体領域に表された物体の種類ごとの確信度を算出するように予め学習されたSVMを用いてもよい。なお、詳細は後述するように、接近判定部３２が確信度をそのまま基準サイズの加重平均における重み係数として利用可能なように、物体の種類ごとの確信度の合計が１となることが好ましい。そのため、第２の識別器として用いられるCNNの出力層は、例えば、softmax層とすることができる。
他の例では、周辺車両検出部３１が、検出された周辺車両（後方車両）を普通乗用車、バス、トラック等に分類する機能を有さなくてもよい。

なお、第２の識別器は、物体のクラスごとに用意され、クラスと対応付けてメモリ２２に予め記憶されてもよい。そして周辺車両検出部３１は、第１の識別器により検出された物体のクラスに応じて対応する第２の識別器をメモリ２２から読み込んで、その識別器を種類ごとの確信度の算出に用いればよい。これにより、個々の第２の識別器について、学習対象となる物体の種類の数が少なくなるので、第２の識別器として比較的演算量の少ない識別器を利用しても、周辺車両検出部３１は、種類ごとの確信度の算出精度を向上することができる。

あるいは、周辺車両検出部３１は、一つの識別器を用いて、画像上に表された検出対象となる物体を検出し、その物体のクラスに属する種類ごとの確信度を算出してもよい。この場合には、識別器は、例えば、第１の識別器に関して上述したように、SSDあるいはFaster-RCNNといった、検出対象となる物体が表された物体領域を検出し、物体領域に表された物体について、その物体の種類ごとの確信度を算出するように学習されたDNNとすることができる。この場合、識別器は、上記の第１の識別器と同様に物体領域を検出できる。ただし、この例では、識別器は、物体領域ごとに、検出対象となる物体のクラスだけでなく、他のクラスに属する種類のそれぞれについて確信度を算出する。そこで、周辺車両検出部３１は、物体領域ごとに、その物体領域について算出された確信度が最大となる種類が属するクラスを選択し、選択したクラスの物体がその物体領域に表されていると判定する。そして周辺車両検出部３１は、物体領域ごとに、その物体領域に表された物体のクラスに属する種類ごとの確信度の合計で、そのクラスに属する種類のそれぞれの確信度を正規化する。周辺車両検出部３１は、そのクラスに属する種類のそれぞれについて、正規化された確信度を、その種類の確信度とすればよい。これにより、物体領域に表された物体のクラスに属する種類ごとの確信度の合計が１となる。例えば、着目する物体領域について、「車両」のクラスに属する「バス」について算出された確信度が他の種類について算出された確信度よりも高いとする。この場合、周辺車両検出部３１は、着目する物体領域に、「車両」クラスの物体が表されていると判定する。そして周辺車両検出部３１は、「車両」クラスに属する「普通自動車」、「バス」、「トラック」のそれぞれについて識別器により算出された確信度を、その確信度の合計で割ることで、「普通自動車」、「バス」、「トラック」のそれぞれの確信度を正規化すればよい。例えば、「普通自動車」について算出された確信度が0.3、「バス」について算出された確信度が0.5、「トラック」について算出された確信度が0.4であったとする。この場合、「普通自動車」についての正規化された確信度は0.25(=0.3/(0.3+0.4+0.5))となり、「バス」についての正規化された確信度は0.42(=0.5/(0.3+0.4+0.5))となり、「トラック」についての正規化された確信度は0.33(=0.4/(0.3+0.4+0.5))となる。

周辺車両検出部３１は、画像から検出された物体領域の位置及び範囲と、検出された物体のクラスに属する種類ごとの確信度を接近判定部３２へ出力する。

接近判定部３２は、車外カメラ２によって生成された画像に基づいて周辺車両４１０（後方車両）と車両１０との距離を推定する。図３に示す例では、接近判定部３２が、周辺車両検出部３１により検出された物体領域ごとに、以下の処理を実行することで、その物体領域に表された物体と車両１０との距離を推定する。

接近判定部３２は、着目する物体領域に表された物体のクラスに属する種類ごとに、その種類の基準サイズSrj(j=1,2,..m|mは種類の数)と、基準距離drとをメモリ２２から読み込む。そして接近判定部３２は、着目する物体領域に表された物体のクラスに属する複数の種類のそれぞれについて、その種類の基準サイズをその種類の確信度で加重平均することで、その物体領域に表された物体の実空間におけるサイズSrpを推定する。すなわち、実空間における、推定された物体のサイズSrpは次式で算出される。

ただし、重み係数w_j(j=1,2,..,m)は、種類jについて算出された確信度である。例えば、着目する物体領域に表された物体のクラスが「車両」であり、「バス」について算出された確信度が0.1、「普通乗用車」及び「トラック」について算出された確信度がそれぞれ0.45であったとする。また、「バス」の基準サイズが2.5mであり、「普通乗用車」の基準サイズが1.8mであり、「トラック」の基準サイズが2.2mであるとする。この場合、実空間における、推定された物体のサイズSrpは、0.1x2.5+0.45x1.8+0.45x2.2=2.05mとなる。

接近判定部３２は、着目する物体領域に表された物体について、推定したその物体の実空間でのサイズSrpに相当する、その物体までの距離が所定の基準距離drである場合の画像上でのその物体の推定基準サイズSipを算出する。そして接近判定部３２は、着目する物体領域に表された物体のサイズSiに対する、推定基準サイズSipの比(Sip/Si)を基準距離drに乗じて得られる値を、車外カメラ２からその物体までの距離として推定する。

なお、接近判定部３２は、車外カメラ２から見えると想定される方向から見た物体の水平方向または垂直方向のサイズを基準サイズとすることができる。図１～図３に示す例では、車外カメラ２が、車両１０の後方を撮影するように取り付けられているので、「車両」クラスに属する種類の物体は、車両１０の後方を走行しているか、あるいは、対向車線を車両１０から遠ざかる向きに走行していることが想定される。そのため、「車両」クラスに属する種類の物体についての基準サイズは、例えば、その物体を前方または後方から見た水平方向の長さ（すなわち、横幅）または垂直方向の長さ（すなわち、路面からの高さ）とすることができる。また、「路面静止物体」クラスに属する種類の物体は、走行中の車両１０からその物体の正面が見えるように設置されている。そのため、「路面静止物体」クラスに属する種類の物体についての基準サイズは、その物体を正面方向から見た水平方向の長さまたは垂直方向の長さとすることができる。さらに、「人」クラスに属する種類の物体は、その物体を見る向きによって水平方向の長さは変化するものの、垂直方向の長さは、見る向きによらずほぼ一定となる。さらに、「人」クラスに属する種類の物体は、水平方向よりも垂直方向の方が、種類による長さの差が顕著となる。そのため、「人」クラスに属する物体の実際のサイズを正確に推定することができるように、「人」クラスに属する種類の物体についての基準サイズは、路面に対して垂直な方向におけるその物体の長さ（すなわち、高さ）とすることが好ましい。

また、基準距離は、例えば、車外カメラ２により得られる画像上で、物体のサイズに応じて画像上におけるその物体のサイズが変化する程度にその物体が表される距離、例えば、10～30mとすることができる。さらに、距離推定に利用される、画像に表された物体のサイズは、例えば、基準サイズが規定される、実空間における方向に対応する画像上の方向における物体領域の幅とすることができる。例えば、物体の基準サイズがその物体の水平方向における長さである場合、画像に表されたその物体のサイズは、その物体が表された物体領域の水平方向の幅とすることができる。また、物体の基準サイズがその物体の垂直方向における長さである場合、画像に表されたその物体のサイズは、その物体が表された物体領域の垂直方向の高さとすることができる。

さらに、接近判定部３２は、推定したその物体の実空間でのサイズSrpに相当する、その物体までの距離が所定の基準距離drである場合の画像上でのその物体の推定基準サイズSipを、車外カメラ２の内部パラメータを用いて算出できる。車外カメラ２の内部パラメータには、例えば、車外カメラ２の焦点距離、画角、各画素の水平方向サイズ及び垂直方向サイズ、及び、画像中心からの距離と歪曲収差の量との関係等が含まれる。

図４は距離推定処理の一例を説明するための図である。
図４に示す例では、車外カメラ２により得られた画像４００上の物体領域４０１において周辺車両４１０（後方車両）が検出されており、周辺車両４１０に関して、「バス」について算出された確信度が0.5、「トラック」について算出された確信度が0.3、「普通乗用車」について算出された確信度が0.2であったとする。また、「バス」の基準サイズが2.5mであり、「普通乗用車」の基準サイズが1.8mであり、「トラック」の基準サイズが2.2mであるとする。この場合、周辺車両４１０の実空間での推定サイズSrpは、2.27mとなる。そして、例えば、車外カメラ２の内部パラメータと、その推定サイズSrpから算出される、基準距離drが20mである場合の画像４００上での周辺車両４１０の推定基準サイズSipが75画素であったとする。また、画像４００上での周辺車両４１０のサイズ（この例では、物体領域４０１の水平方向の幅）Siが50画素であったとする。この場合、車外カメラ２から周辺車両４１０までの距離dは、brx(Sip/Si)=20x(75/50)=30mと推定される。

上述したように図１～図４に示す例では、周辺車両検出部３１が、車両１０の周囲の状況を撮影する車外カメラ２により生成された一連の画像のそれぞれに基づいて、車両１０の周囲を走行する周辺車両４１０（後方車両）を検出し、接近判定部３２が、車外カメラ２により生成された一連の画像のそれぞれに基づいて、車両１０と周辺車両４１０との距離を推定する。
他の例では、周辺車両検出部３１が、車両１０の周囲の状況を検知する距離センサにより生成された一連のセンサ信号のそれぞれに基づいて、車両１０の周囲を走行する周辺車両４１０（例えば後方車両、側道から自車線に合流してくる車両など）を検出し、接近判定部３２が、距離センサにより生成された一連のセンサ信号のそれぞれに基づいて、車両１０と周辺車両４１０との距離を推定してもよい。

図１～図４に示す例では、接近判定部３２が、車両１０と周辺車両４１０（例えば後方車両など）との距離が所定の接近判定閾値以下になったか否かを判定する。更に、接近判定部３２は、車両１０と周辺車両４１０との距離が所定の接近判定閾値以下になった場合に、車両１０が周辺車両４１０に接近したと判定する。

図３に示す例では、視線方向検出部３３が、ドライバモニタカメラ３により生成されたドライバの顔が表された一連のドライバ画像のそれぞれからドライバの視線方向を検出する。

詳細には、視線方向検出部３３は、例えば、ドライバ画像を、ドライバ画像からドライバの顔を検出するように予め学習された識別器に入力することで、そのドライバ画像上でドライバの顔が写っている領域（以下、顔領域と呼ぶ）を検出する。視線方向検出部３３は、そのような識別器として、例えば、Single Shot MultiBox Detector(SSD)またはFaster R-CNNといった、コンボリューショナルニューラルネットワーク(CNN)型のアーキテクチャを持つディープニューラルネットワーク(DNN)を利用することができる。あるいは、視線方向検出部３３は、Vision transformerといった、Self-attention network(SAN)型のアーキテクチャを持つDNNを利用することができる。あるいは、視線方向検出部３３は、そのような識別器として、AdaBoost識別器といった他の機械学習手法に基づく識別器を利用してもよい。このような識別器は、人の顔が表された多数の教師画像を用いて、誤差逆伝搬法といった所定の学習手法に従って予め学習される。視線方向検出部３３は、ドライバ画像の顔領域から、ドライバの眼を検出する。その際、視線方向検出部３３は、例えば、Sobelフィルタなどのエッジ検出フィルタを適用して顔領域内のエッジ画素を検出する。そして視線方向検出部３３は、エッジ画素が略水平方向に連続する線を検出し、左右それぞれの眼について、顔領域内でその眼が位置すると想定される範囲内で、上下方向に並んだそのような二つの線を、その眼の上瞼及び下瞼として検出すればよい。なお、視線方向検出部３３は、画像から眼の上瞼及び下瞼を検出する他の手法に従って、ドライバ画像からドライバの左右それぞれの眼の上瞼及び下瞼を検出してもよい。

さらに、視線方向検出部３３は、各ドライバ画像から、ドライバの視線方向を検出する。例えば、視線方向検出部３３は、ドライバ画像上に表されたドライバの左右それぞれの眼の少なくとも一方について、上瞼と下瞼とで囲まれた領域（以下、眼領域と呼ぶ）から光源の角膜反射像及び瞳孔の重心（以下、単に瞳孔重心と呼ぶ）を検出する。なお、光源の角膜反射像はプルキンエ像とも呼ばれる。その際、視線方向検出部３３は、例えば、プルキンエ像のテンプレートと眼領域とのテンプレートマッチングによりプルキンエ像を検出する。同様に、視線方向検出部３３は、瞳孔のテンプレートと眼領域とのテンプレートマッチングにより瞳孔を検出し、検出した瞳孔が表された領域の重心を瞳孔重心とすればよい。なお、視線方向検出部３３は、眼領域からプルキンエ像及び瞳孔重心を検出する他の手法に従ってプルキンエ像及び瞳孔重心を検出してもよい。そして視線方向検出部３３は、プルキンエ像と瞳孔重心間の距離を算出し、その距離とドライバの視線方向との関係を表すテーブルを参照することで、ドライバの視線方向を検出する。なお、そのようなテーブルは、メモリ２２に予め記憶されていればよい。そして視線方向検出部３３は、直近の一定期間内の連続する二つのドライバ画像の組ごとに、視線方向の移動量を求め、その移動量の平均値を、ドライバ画像の取得間隔で除することで、視線方向の移動速度として算出する。

図３に示す例では、注視判定部３４は、ドライバの視線方向が周辺車両４１０（例えば後方車両など）を視認できる方向（例えばルームミラーの方向、ドアミラーの方向、車外カメラ２によって撮影された画像を表示するディスプレイ（図示せず）の方向、ドライバが周辺車両４１０を直接視認する方向など）を向いているか否かを判定する機能を有する。例えば、注視判定部３４は、ドライバモニタカメラ３によって生成されたドライバ画像からドライバの視線情報を取得し、事前に設定された車両１０の座標と組み合わせて、ドライバがどこを注視しているかを判定する。また、注視判定部３４は、ドライバの視線方向が周辺車両４１０を視認できる方向を向いている時間（注視時間）の累積時間を算出する。注視時間の累積時間が所定の注視時間閾値以上になったときに、注視判定部３４は、ドライバの視線方向が周辺車両４１０を視認できる方向を向いていると判定する。一方、注視時間の累積時間が注視時間閾値以上になっていないときには、注視判定部３４は、ドライバの視線方向が周辺車両４１０を視認できる方向を向いていないと判定する（つまり、ドライバの視線方向が周辺車両４１０を視認できる方向を向いているとは言えないと判定する）。注視判定部３４によって算出される注視時間の累積時間は、ドライバが正面を向いている時間（例えばドライバが前方車両などを注視する時間）が所定のリセット閾値以上になった場合に、リセットされる。
注視判定部３４は、メモリ２２に記憶されているドライバの運転習熟度に応じて、上述した注視時間閾値を切り替える。運転習熟者は周辺車両４１０を凝視しなくても周辺車両４１０を正しく認識できると考えられるため、運転習熟者用の注視時間閾値は、運転非習熟者用の注視時間閾値よりも短時間の値に設定されている。
すなわち、図３に示す例では、ドライバが運転習熟者である場合には、ドライバが運転非習熟者である場合よりも、ドライバの視線方向が周辺車両４１０を視認できる方向を向いていると注視判定部３４が判定しやすくなっている。
他の例では、運転習熟者用の注視時間閾値と、運転非習熟者用の注視時間閾値とが、等しい値に設定されていてもよい。

図３に示す例では、注視判定部３４は、ドライバの視線方向が周辺車両４１０（例えば後方車両など）を視認できる方向を向いていない期間である未確認期間を算出する。更に、注視判定部３４は、未確認期間が所定の時間閾値以上になったか否かを判定する。
閾値設定部３６は、メモリ２２に記憶されているドライバの運転習熟度に応じて、上述した時間閾値を切り替える。上述したように、運転習熟者は周辺車両４１０を凝視しなくても周辺車両４１０を正しく認識することができ、未確認期間が比較的長くても、運転習熟者であれば周辺車両４１０を適切に把握できると考えられるため、運転習熟者用の時間閾値は、運転非習熟者用の時間閾値よりも長時間の値に設定されている。すなわち、閾値設定部３６は、ドライバの運転習熟度が高いほど時間閾値を長くする。
また、閾値設定部３６は、接近判定部３２による判定に用いられる接近判定閾値を設定する。運転習熟者用の接近判定閾値と、運転非習熟者用の接近判定閾値とは、等しい値に設定されている。

通知処理部３５は、車両１０に設けられた通知機器４を介して車両１０のドライバに警報を出す処理などを行う。通知処理部３５は、車両１０と周辺車両４１０（例えば後方車両など）との距離が接近判定閾値以下になったと接近判定部３２が判定した場合であって、未確認期間が時間閾値以上になったと注視判定部３４が判定した場合に、車両１０のドライバに警報を出す。
図３に示す例では、車両１０と周辺車両４１０との速度差が考慮されることなく、車両１０と周辺車両４１０との距離が接近判定閾値以下になりかつ未確認期間が時間閾値以上になった場合に通知処理部３５が警報を出すが、他の例では、車両１０との速度差が所定の閾値以上の周辺車両４１０（後方車両）と車両１０との距離が接近判定閾値以下になりかつ未確認期間が時間閾値以上になった場合に通知処理部３５が警報を出してもよい。

図３に示す例では、車両制御部３７が、車両１０に適用される運転制御レベルに従って車両１０を制御する。車両１０に適用される運転制御レベルが、ドライバが車両１０の運転に関与しない運転制御レベルである場合、車両制御部３７は、車両１０が走行中の自車線に沿って走行するよう、車両１０を制御する。そのために、車両制御部３７は、前方車両を含む画像を撮影する車外カメラにより生成された画像から自車線と隣接車線とを区画する車線区画線、及び、車両１０の周囲を走行する他の車両といった移動物体を検出する。そして車両制御部３７は、検出された車線区画線と地図情報とを照合することで、車両１０の位置及び姿勢を推定する。そして車両制御部３７は、車両１０の位置及び姿勢の推定結果と、車両１０の周囲の個々の移動物体の検出結果とに基づいて、車両１０が個々の移動物体と衝突せず、かつ、自車線に沿って走行するように車両１０を制御する。

図５はプロセッサ２３によって実行される車両１０のドライバに警報を出す処理の一例を説明するためのフローチャートである。
図５に示す例では、ステップＳ１１において、閾値設定部３６が接近判定閾値および時間閾値を設定する。詳細には、閾値設定部３６は、車両１０のドライバの運転習熟度に応じて時間閾値を設定し、ドライバの運転習熟度が高いほど時間閾値を長くする。
ステップＳ１２では、視線方向検出部３３が、ドライバモニタカメラ３により生成されたドライバ画像に基づいて、ドライバの視線方向を検出する。
ステップＳ１３では、周辺車両検出部３１が、車外カメラ２又は距離センサにより生成された一連のセンサ信号のそれぞれに基づいて、車両１０の周囲を走行する周辺車両４１０（例えば後方車両など）を検出する。
ステップＳ１４では、接近判定部３２が、車外カメラ２又は距離センサによって生成されたセンサ信号に基づいて、ステップＳ１３において検出された周辺車両４１０と車両１０との距離を推定する。

ステップＳ１５では、接近判定部３２が、車両１０と周辺車両４１０との距離が接近判定閾値以下になったか否かを判定する。ＹＥＳの場合にはステップＳ１６に進み、ＮＯの場合には図５に示す処理を終了する。
ステップＳ１６において、注視判定部３４は、ドライバの視線方向が周辺車両４１０を視認できる方向を向いていない未確認期間が時間閾値以上になったか否かを判定する。ＹＥＳの場合にはステップＳ１７に進み、ＮＯの場合には図５に示す処理を終了する。
ステップＳ１７では、通知処理部３５がドライバに警報を出す。

プロセッサ２３は、ステップＳ１２の処理と、ステップＳ１３及びステップＳ１４の処理との実行順序を入れ替えてもよく、あるいは、ステップＳ１２の処理と、ステップＳ１３及びステップＳ１４の処理とを並列に実行してもよい。

上述したように、図１～図５に示す例では、ドライバモニタカメラ３及び視線方向検出部３３が車両１０のドライバの視線状態を検出することによって、第１実施形態の運転支援装置（ＥＣＵ５）は、運転中の後方確認を支援することができる。
ドライバの運転習熟度が低い場合には、ドライバが、車両１０の手動運転中または運転支援中の後方確認を怠り、周辺車両４１０（例えば後方車両など）の接近に気づかないおそれがある点に鑑み、第１実施形態の運転支援装置の一例では、車両１０の後方に周辺車両４１０（後方車両）が接近した場合（詳細には、車両１０の後方に車両１０との速度差が大きい周辺車両４１０が接近した場合）、かつ、時間閾値以上の時間ドライバが周辺車両４１０を視認できる方向に視線方向を向けていない場合に、ドライバへの注意喚起が実施される。そのため、後方確認を怠っているドライバに後方確認を実施させることができる。詳細には、適切な運転行動を取るための時間の余裕を、運転習熟度が低いドライバに与えることができる。
一方、ドライバの運転習熟度が高い場合にドライバへの注意喚起が頻繁に実施されると、ドライバが煩わしさを感じるおそれがある点に鑑み、第１実施形態の運転支援装置は、ドライバの運転習熟度が高いほど時間閾値を長くする（つまり、ドライバの運転習熟度に応じて時間閾値を切り替える）。すなわち、ドライバへの注意喚起が、ドライバの運転習熟度に応じて適切に実施される。そのため、ドライバがドライバへの注意喚起を煩わしく感じるおそれを抑制することができる。

第１実施形態の運転支援装置の一例では、閾値設定部３６が時間閾値及び接近判定閾値を設定する際に、プロセッサ２３が、車両１０の走行場所をGPS受信機と例えばＥＣＵ５の内部のダイナミックマップ（地図情報）から取得し、道路区分から自車走行位置を分類する。例えば、「市街地一般道」、「その他一般道」、「都市間高速」及び「都市高速」のいずれかと、「片側単車線」及び「片側複数車線」のいずれかとの組み合わせに分類する。また、プロセッサ２３は、片側複数車線の場合に、周囲車両の混雑状況を車両搭載センサ（例えば前方用の車外カメラ、後方用の車外カメラ、距離センサ等）により判定する。閾値設定部３６は、これらの判定結果とドライバの運転習熟度とに基づいて、時間閾値及び接近判定閾値を設定する。
例えばドライバが運転非熟練者であって、車両１０が都市間高速又は片側複数車線を走行中であって、周囲車両の状況が混雑している場合に、閾値設定部３６は、接近判定閾値を大きい値に設定し、時間閾値を小さい値に設定する。例えばドライバが運転非熟練者であって、車両１０が都市間高速又は片側複数車線を走行中であって、周囲車両の状況が混雑していない場合に、閾値設定部３６は、接近判定閾値を中程度の値に設定し、時間閾値を小さい値に設定する。
例えばドライバが運転熟練者であって、車両１０がその他一般道又は片側複数車線を走行中であって、周囲車両の状況が混雑している場合に、閾値設定部３６は、接近判定閾値を中程度の値に設定し、時間閾値を大きい値に設定する。例えばドライバが運転熟練者であって、車両１０がその他一般道又は片側複数車線を走行中であって、周囲車両の状況が混雑していない場合に、閾値設定部３６は、接近判定閾値を小さい値に設定し、時間閾値を大きい値に設定する。

＜第２実施形態＞
第２実施形態の運転支援装置を含む車両制御システム１は、後述する点を除き、上述した第１実施形態の運転支援装置を含む車両制御システム１と同様に構成されている。
上述したように第１実施形態では、運転習熟者用の接近判定閾値と運転非習熟者用の接近判定閾値とが等しい値に設定されている。
一方、第２実施形態では、運転習熟者用の接近判定閾値が運転非習熟者用の接近判定閾値より小さい値に設定されている。つまり、閾値設定部３６は、ドライバの運転習熟度が高いほど接近判定閾値を小さくする。

＜第３実施形態＞
第３実施形態の運転支援装置を含む車両制御システム１は、後述する点を除き、上述した第１実施形態の運転支援装置を含む車両制御システム１と同様に構成されている。
上述したように第１実施形態では、プロセッサ２３が、周辺車両検出部３１と、接近判定部３２と、視線方向検出部３３と、注視判定部３４と、通知処理部３５と、閾値設定部３６と、車両制御部３７とを有する。
一方、第３実施形態では、プロセッサ２３が、周辺車両検出部３１と、接近判定部３２と、視線方向検出部３３と、注視判定部３４と、通知処理部３５と、閾値設定部３６と、車両制御部３７と、習熟度判定部（図示せず）とを有する。習熟度判定部は、ドライバモニタカメラ３によって生成された一連のドライバ画像から検出された車両１０の運転中におけるドライバの挙動、ドライバの運転行動及び車両１０の挙動の少なくとも何れかを表す運転行動履歴情報に基づいてドライバの運転習熟度を判定する。

また、上記の実施形態または変形例による、ＥＣＵ５のプロセッサ２３の機能を実現するコンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。

以上のように、当業者は、本発明の範囲内で、実施される形態に合わせて様々な変更を行うことができる。

１車両制御システム
２車外カメラ
３ドライバモニタカメラ
４通知機器
５ＥＣＵ（電子制御装置）
１０車両
２１通信インターフェース
２２メモリ
２３プロセッサ
３１周辺車両検出部
３２接近判定部
３３視線方向検出部
３４注視判定部
３５通知処理部
３６閾値設定部
３７車両制御部

Claims

車両のドライバの運転習熟度を記憶する記憶部と、
前記車両に設けられたドライバモニタカメラにより生成された前記ドライバの顔が表された一連のドライバ画像のそれぞれから前記ドライバの視線方向を検出する視線方向検出部と、
前記車両の周囲の状況を検知するセンサにより生成された一連のセンサ信号のそれぞれに基づいて、前記車両の周囲を走行する周辺車両を検出する周辺車両検出部と、
前記車両と前記周辺車両間の距離を推定し、推定した距離が所定の接近判定閾値以下になると前記周辺車両は前記車両に接近すると判定する接近判定部と、
前記周辺車両が前記車両に接近すると判定された場合において、前記ドライバの視線方向が前記周辺車両を視認できる方向を向いていない未確認期間が所定の時間閾値以上であるか否か判定する注視判定部と、
前記未確認期間が前記時間閾値以上である場合、前記車両に設けられた通知機器を介して前記ドライバに警報を出す通知処理部と、
前記ドライバの運転習熟度が高いほど、前記時間閾値を長くする閾値設定部と、
を有する運転支援装置。