JP2024049224A - 運転支援装置 - Google Patents

Abstract

【課題】ドライバの視線が向くエリアの特性に応じてドライバの脇見を判定することで、ドライバの運転を精度よく支援することが可能な運転支援装置を提供する。【解決手段】ＥＣＵ１５０のプロセッサ１５２は、車両のドライバの視線の方向を推定する視線推定部１５２ａと、ドライバの視線が車両進行方向から外れた第１の脇見エリアを向いた場合に、所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する第１の脇見判定部１５２ｂと、ドライバの視線が車両進行方向から外れた第２の脇見エリアを向いた場合に、第１の脇見判定部１５２ｂとは異なる所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する第２の脇見判定部１５２ｃと、を備える。【選択図】図３

Description

本発明は、運転支援装置に関する。

従来、ユーザの視線方向を検知し、運転中に見るべき方向以外を視線が向いている時間に基づいて、ユーザが脇見状態であるか否かを判定することが公知である（例えば、特許文献１を参照）。

特開２０１８－１０８７８４号公報

しかし、視線が向いている方向に基づいてドライバの脇見を判定すると、ドライバの運転行動に起因する視線の方向が脇見と判定されてしまう問題がある。例えば、インナ―ミラー（ルームミラー）またはドアミラーをドライバが視認する行為は後方確認のための運転行動に起因するものであるが、これらの行為が脇見と判定されてしまう問題がある。そして、これらの行為に対して警告等が行われると、ドライバに不信感または不快感が生じる可能性がある。

また、運転中に見るべき方向をドライバが見ている場合であっても、インナ―ミラーまたはドアミラーなどを運転行動とは関係なく凝視しているような場合は通常の運転行動ではなく、脇見と判定されるべきであり、ユーザに対して警告が行われるべきである。しかし、上記特許文献に記載された技術では、運転中に見るべき方向をユーザが見ている限り、このような行為が脇見と判定されることがないため、必要な警告が行われなくなる問題がある。

以上を鑑みると、ドライバの運転行動に起因してドライバの視線が向く可能性のあるエリアについては、他のエリアと異なり、ドライバの運転行動に起因して視線が向いているか否かを考慮した上で脇見を判定することが望ましい。

そこで、本発明は、ドライバの視線が向くエリアの特性に応じてドライバの脇見を判定することで、ドライバの運転を精度よく支援することが可能な運転支援装置を提供することを目的とする。

本開示の要旨は以下のとおりである。

（１） 車両のドライバの視線の方向を推定する視線推定部と、
ドライバの視線が車両進行方向から外れた第１の脇見エリアを向いた場合に、所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する第１の脇見判定部と、
ドライバの視線が車両進行方向から外れた第２の脇見エリアを向いた場合に、前記第１の脇見判定部とは異なる所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する第２の脇見判定部と、
を備える、運転支援装置。

（２） 前記第１の脇見判定部は、ドライバの継続的な脇見を判定する第１の判定ロジックと、ドライバの断続的な脇見を判定する第２のロジックの双方に基づいてドライバが脇見をしているか否かを判定し、
前記第２の脇見判定部は、ドライバの継続的な脇見を判定する前記第１の判定ロジックのみに基づいてドライバが脇見をしているか否かを判定する、上記（１）に記載の運転支援装置。

（３） 前記第１の脇見判定部は、ドライバの視線が第１の所定時間以上継続して前記第１の脇見エリアを向いた場合にドライバが脇見をしていると判定するとともに、ドライバの視線が第２の所定時間内にトータルで所定の累積時間以上又は所定割合以上前記第１の脇見エリアを向いた場合にドライバが脇見をしていると判定し、
前記第２の脇見判定部は、ドライバの視線が前記第１の所定時間以上継続して前記第２の脇見エリアを向いた場合にドライバが脇見をしていると判定する、
上記（１）に記載の運転支援装置。

（４） 前記第２の脇見エリアは、ドライバの運転行動に起因してドライバの視線が向くエリアである、上記（１）～（３）のいずれかに記載の運転支援装置。

（５） 前記第１の脇見判定部又は前記第２の脇見判定部によりドライバが脇見をしていると判定されると、ドライバに警告するための処理を行う警告処理部を更に含む、上記（１）～（４）のいずれかに記載の運転支援装置。

本発明によれば、ドライバの視線が向くエリアの特性に応じてドライバの脇見を判定することで、ドライバの運転を精度よく支援することが可能な運転支援装置を提供することが可能になるという効果を奏する。

一つの実施形態による運転支援システムの概略構成図である。 車室内から車両の進行方向を見た状態を示す図であって、ドライバの視認エリアを示す模式図である。 ＥＣＵのプロセッサの機能ブロックを示す模式図である。 ＥＣＵのプロセッサが所定の制御周期毎に行う処理を示すフローチャートである。 図４のステップＳ１６における、長時間脇見判定ロジックの処理を示すフローチャートである。 図４のステップＳ１４における、ちらちら脇見判定ロジックの処理を示すフローチャートである。

以下、本発明に係る幾つかの実施形態について図を参照しながら説明する。しかしながら、これらの説明は、本発明の好ましい実施形態の単なる例示を意図するものであって、本発明をこのような特定の実施形態に限定することを意図するものではない。

図１は、一つの実施形態による運転支援システム１０００の概略構成図である。運転支援システム１０００は、例えば自動車などの車両に搭載され、ドライバモニタカメラ１２０と、表示装置１３０と、スピーカ１４０と、電子制御装置（ＥＣＵ：Electronic Control Unit、以下、ＥＣＵと称する）１５０と、を有している。ドライバモニタカメラ１２０と、表示装置１３０と、スピーカ１４０と、ＥＣＵ１５０のそれぞれは、コントローラエリアネットワーク（Controller Area Network (CAN)）といった規格に準拠した車内ネットワークを介して接続される。

ドライバモニタカメラ１２０は、ＣＣＤあるいはＣ－ＭＯＳなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に撮影対象となる領域の像を結像する結像光学系を有する。ドライバモニタカメラ１２０は、車両内部のステアリングコラム、または、ダッシュボード、フロントガラスの近辺等において、ドライバの想定位置に向けて設けられ、ドライバの顔を撮影し、ドライバの顔が写った画像を生成する。本実施形態では、ドライバモニタカメラ１２０はステアリングコラムの上に設けられているものとする。ドライバモニタカメラ１２０は、所定の撮影周期（例えば１／３０秒～１／１０秒）ごとに撮影を行う。ドライバモニタカメラ１２０は、画像を生成する度に、その生成した画像を、車内ネットワークを介してＥＣＵ１５０へ出力する。

表示装置１３０は、例えば液晶表示ディスプレイ（ＬＣＤ）から構成され、メーターパネル、またはダッシュボードの近辺等に設けられ、各種情報を表示する。スピーカ１４０は、各種情報を音声で出力する。

ＥＣＵ１５０は、運転支援システム１０００の全体を制御する構成要素であり、運転支援装置の一態様である。ＥＣＵ１５０は、プロセッサ１５２と、メモリ１５４と、通信インターフェース１５６とを有する。プロセッサ１５２は、１個または複数個のＣＰＵ(Central Processing Unit)及びその周辺回路を有する。プロセッサ１５２は、論理演算ユニット、数値演算ユニットあるいはグラフィック処理ユニットといった他の演算回路をさらに有していてもよい。メモリ１５４は、例えば、揮発性の半導体メモリ及び不揮発性の半導体メモリを有し、本実施形態に係る処理に関連するデータを必要に応じて記憶する。メモリ１５４には、後述する脇見エリア、正面エリア、および、ちらちら脇見除外エリアの境界を示す３次元的な位置情報が格納されている。通信インターフェース１５６は、ＥＣＵ１５０を車内ネットワークに接続するためのインターフェース回路を有する。

運転支援システム１０００は、ドライバモニタカメラ１２０によりドライバの視線を検出し、ドライバが脇見をしている場合は警告を発することで、ドライバの脇見を抑制する。より詳細には、運転支援システム１０００は、ドライバの視認エリアに脇見エリアを設定し、ドライバの視線が脇見エリアを向いている場合に、ドライバが脇見をしている時間に応じて、ドライバの脇見を長時間脇見とちらちら脇見（短時間かつ断続的な非正面注視）に分類する。

長時間脇見とちらちら脇見は、異なる判定ロジックによって判定される。具体的には、ドライバがある所定時間以上（例えば、３秒以上、５秒以上など）継続して脇見をしている場合は長時間脇見と判定され、ドライバがある所定時間内（例えば、１０秒間）にトータルで所定の累積時間以上（例えば、５秒以上）又は所定割合以上（例えば、５０％以上）脇見をしている場合はちらちら脇見と判定される。なお、長時間脇見は、脇見中にドライバが同じ場所を見ている場合に限られず、脇見中に異なる場所に視線が移動する場合も含んでいてよい。ちらちら脇見についても同様である。

そして、運転支援システム１０００は、ドライバが長時間脇見またはちらちら脇見をしている場合、ドライバに対して警告を発する。これにより、運転支援システム１０００は、ドライバに対し視線が前方を向くように促し、安全運転を支援する。

このように、長時間脇見とちらちら脇見の双方を判定することによって、例えばドライバが車窓の外を比較的長い間継続して見ているような場合と、ドライバが手元の携帯端末を断続的にちらちら見ている場合の双方について、ドライバに対して警告が行われる。特にちらちら脇見の判定を行うことで、長時間脇見に該当しない場合であっても警告が行われるため、ドライバの安全運転がより確実に支援される。

長時間脇見はドライバが比較的長い時間脇見をしている状態であるため、運転支援システム１０００は、ドライバが長時間脇見をしている場合は必ず警告を行う。一方、ちらちら脇見に関しては、短時間かつ断続的な非正面注視の全てに対して警告が発せられてしまうと、ちらちら脇見がドライバの運転行動に起因する場合は、ドライバが不快感、不信感を感じる場合がある。例えば、ドライバがドアミラーをちらちら見ている場合、ドアミラーをちらちら見ることは安全確認のための通常の運転行動であるため、このような場合に警告が発せられるとドライバが不快感、不信感を感じる場合がある。

このため、本実施形態に係る運転支援システム１０００は、ドライバがちらちら脇見をしている場合であっても、ちらちら脇見が運転行動に起因するものである場合は、例外的にドライバに対する警告を行わないようにしている。

図２は、車室内から車両の進行方向を見た状態を示す図であって、ドライバの視認エリアを示す模式図である。図２に示すように、車両の進行方向にフロントガラス１０が設けられており、フロントガラス１０の領域の一部にはインナ―ミラー１２が設けられている。また、車両の左右にはドアミラー１４が設けられている。

長時間脇見とちらちら脇見を判定するため、図２に示すように、ドライバの視認エリアは、脇見エリア２０と正面エリア（非脇見エリア）３０とに分類されている。脇見エリア２０は、車両進行方向から外れたエリアであって、フロントガラス１０の領域以外の全ての領域と、インナ―ミラー１２の領域とを含む。正面エリア３０は、基本的にフロントガラス１０の領域であるが、インナ―ミラー１２の領域を除いた領域である。

脇見エリア２０には、脇見エリア２０と重畳してちらちら脇見除外エリア４０が設けられている。図２に示すように、ちらちら脇見除外エリア４０は、インナ―ミラー１２とドアミラー１４の領域を含んでいる、ちらちら脇見除外エリア４０は、ドライバの通常の運転行動に起因してドライバの視線が向くエリアである。

運転支援システム１０００は、ドライバの視線が脇見エリア２０に向いている場合であっても、ちらちら脇見除外エリア４０に向いている場合、例外的にちらちら脇見の判定を行わない。これにより、例えばドライバがインナ―ミラー１２またはドアミラー１４をちらちら見ている場合は、ちらちら脇見と判定されることがなく、ドライバに対する警告が行われないため、ドライバに不快感、不信感が生じることが抑制される。

一方、ちらちら脇見除外エリア４０以外の脇見エリア２０は、ドライバの通常の運転行動に起因して視線が向くことのない領域である。運転支援システム１０００は、ドライバの視線がちらちら脇見除外エリア４０以外の脇見エリア２０に向いている場合は、ちらちら脇見の判定を行い、ドライバがちらちら脇見をしていると判定すると、ドライバに対して警告を行う。これにより、ドライバが手元の携帯端末をちらちら見ている場合など、ドライバの運転行動に起因しないちらちら脇見に対しては警告が行われる。

以上のように、運転支援システム１０００は、ドライバの視線が脇見エリア２０を向いている場合に、視線がちらちら脇見除外エリア４０を向いているか、あるいはちらちら脇見除外エリア４０以外のエリアを向いているかに応じて、脇見を判定するロジックを変更する。そして、視線がちらちら脇見除外エリア４０を向いている場合は、ちらちら脇見の判定が行われないため、ドライバの通常の運転行動に対して不要な警告が行われることがなく、ドライバに不快感、不信感が生じることが抑制される。一方、ドライバの視線がちらちら脇見除外エリア４０以外の脇見エリア２０に向いている場合は、ちらちら脇見の判定が行われるため、ドライバの通常の運転行動に起因しない行為、例えば携帯端末をちらちら見る等の行為には警告が行われる。したがって、ドライバが脇見をしている場合の警告が高精度に実現される。

また、ドライバの視線がちらちら脇見除外エリア４０を向いている場合であっても、長時間脇見の判定は行われるため、例えばドライバが長時間の間継続してドアミラー１４を見続けているような場合には警告が発せられる。したがって、ドライバの視線がちらちら脇見除外エリア４０を向いている場合であっても、通常の運転行動に起因しない場合は、警告が発せられることで安全性が担保される。

図３は、以上のような処理を実現するためのＥＣＵ１５０のプロセッサａの機能ブロックを示す模式図である。ＥＣＵ１５０のプロセッサ１５２は、視線推定部１５２ａと、第１の脇見判定部１５２ｂと、第２の脇見判定部１５２ｃと、警告処理部１５２ｄと、を有している。プロセッサ１５２が有するこれらの各部は、例えば、プロセッサ１５２上で動作するコンピュータプログラムにより実現される機能モジュールである。つまり、プロセッサ１５２の機能ブロックは、プロセッサ１５２とこれを機能させるためのプログラム（ソフトウェア）から構成される。また、そのプログラムは、ＥＣＵ１５０が備えるメモリ１５４または外部から接続される記録媒体に記録されていてもよい。あるいは、プロセッサ１５２が有するこれらの各部は、プロセッサ１５２に設けられる専用の演算回路であってもよい。

プロセッサ１５２の視線推定部１５２ａは、ドライバモニタカメラが生成した、ドライバの顔が表された画像に基づいて、公知の視線検知方法により、ドライバの視線を検出する。例えば、視線推定部１５２ａは、角膜表面における近赤外光源の反射像（プルキニエ像）を利用し、瞳孔中心とプルキニエ像との距離から視線角度を算出する角膜反射法を用いて視線を検出する。そして、視線推定部１５２ａは、検出した視線方向と、予めメモリ１５４に格納された脇見エリア２０、正面エリア３０、ちらちら脇見除外エリア４０の境界を示す３次元的な位置情報とに基づいて、ドライバの視線が向いている方向を推定する。具体的には、視線推定部１５２ａは、ドライバの視線が脇見エリア２０と正面エリアのいずれを向いているか推定する。また、視線推定部１５２ａは、ドライバの視線が脇見エリア２０を向いていると推定した場合に、視線がちらちら脇見除外エリア４０を向いているか否かを推定する。なお、上述した視線方向の検出方法は一例であって、視線推定部１５２ａは、他の方法を用いて視線方向を検出してもよい。

なお、視線推定部１５２ａは、予め学習された画像を識別器に入力することで、ドライバの視線の起点である眼の位置、またはドライバの顔の各種構成要素の位置、輪郭などを検出する。例えば、視線推定部１５２ａは、このような識別器として、入力された画像から、その画像の各画素について、その画素に表される可能性の有る物体の種類ごとに、その物体がその画素に表されている確からしさを出力し、確からしさが最大となる物体が表されていると識別するように予め学習されたセグメンテーション用の識別器を用いることができる。視線推定部１５２ａは、そのような識別器として、例えば、Fully Convolutional Network（ＦＣＮ）といった、セグメンテーション用のコンボリューショナルニューラルネットワーク型（ＣＮＮ）のアーキテクチャを有するディープニューラルネットワーク（ＤＮＮ）を用いることができる。あるいは、視線推定部１５２ａは、ランダムフォレストあるいはサポートベクトルマシンといった他の機械学習手法に従ったセグメンテーション用の識別器を利用してもよい。この場合、視線推定部１５２ａは、画像をセグメンテーション用の識別器に入力することで、その画像において各種構成要素が写っている画素を特定する。そして視線推定部１５２ａは、同じ種類の要素が写っている画像の集合をその要素が表された領域とする。

視線推定部１５２ａは、ドライバの視線方向を検出する代わりに、上述した識別器から得られる情報に基づいてドライバの顔向き角度を検出し、顔向き角度と、予めメモリ１５４に格納された脇見エリア２０、正面エリア３０、ちらちら脇見除外エリア４０の境界を示す３次元的な位置情報とに基づいて、ドライバの視線が脇見エリア２０、正面エリア３０，ちらちら脇見除外エリア４０のいずれを向いているか推定してもよい。例えば、視線推定部１５２ａは、左右の眼の距離に基づいて左右の顔向き角度（ヨー角）を算出し、また鼻位置と左右の眼の位置を結ぶ直線との距離に基づいて上下の顔向き角度（ピッチ角）を算出してもよい。

プロセッサ１５２の第１の脇見判定部１５２ｂは、視線推定部１５２ａが推定したドライバの視線が向いている方向に基づいて、視線が車両進行方向から外れた第１の脇見エリアを向いた場合に、所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する。

より具体的には、第１の脇見エリアは、脇見エリア２０から、ちらちら脇見除外エリア４０を除いたエリアである。第１の脇見判定部は、ドライバの継続的な脇見を判定する第１の判定ロジック（長時間脇見判定ロジック）と、ドライバの断続的な脇見を判定する第２のロジックと（ちらちら脇見判定ロジック）の双方に基づいてドライバが脇見をしているか否かを判定する。第１の脇見判定部１５２ｂは、長時間脇見判定ロジックに基づいて、視線が第１の所定時間以上継続して第１の脇見エリアを向いた場合にドライバが長時間脇見をしていると判定してもよい。また、第１の脇見判定部１５２ｂは、ちらちら脇見判定ロジックに基づいて、視線が第２の所定時間内にトータルで所定の累積時間以上又は所定割合以上第１の脇見エリアを向いた場合にドライバがちらちら脇見をしていると判定してもよい。

プロセッサ１５２の第２の脇見判定部１５２ｃは、視線推定部１５２ａが推定したドライバの視線が向いている方向に基づいて、視線が車両進行方向から外れた第２の脇見エリアを向いた場合に、第１の脇見判定部１５２ｂとは異なる所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する。

より具体的には、第２の脇見エリアは、ちらちら脇見除外エリア４０である。第２の脇見判定部１５２ｃは、ドライバの継続的な脇見を判定する第１の判定ロジック（長時間脇見判定ロジック）のみに基づいてドライバが脇見をしているか否かを判定する。第２の脇見判定部１５２ｃは、長時間脇見判定ロジックに基づいて、視線が第１の所定時間以上継続して第２のエリアを向いた場合にドライバが長時間脇見をしていると判定してもよい。このように、第２の脇見判定部１５２ｃは、ちらちら脇見判定ロジックを行うことなく、長時間脇見判定ロジックのみに基づいてドライバが脇見をしているか否かを判定する。

なお、長時間脇見判定ロジックとちらちら脇見判定ロジックは、上記に限定されるものではない。例えば、ちらちら脇見判定ロジックは、長時間脇見判定ロジックと同様の方法で、視線が第３の所定時間以上継続して第１の脇見エリアを向いた場合にドライバがちらちら脇見をしていると判定するものであってもよく、この場合に第３の所定時間が長時間脇見判定ロジックの第１の所定時間より短く設定されたものであってもよい。

プロセッサ１５２の警告処理部１５２ｄは、第１の脇見判定部１５２ｂ又は第２の脇見判定部１５２ｃによりドライバが脇見をしていると判定されると、ドライバに警告するための処理を行う。具体的には、警告処理部１５２ｄは、警告を表示装置１３０に表示する処理、または警告をスピーカ１４０から音声で出力する処理を行う。

次に、ＥＣＵ１５０のプロセッサ１５２が行う処理について説明する。図４は、ＥＣＵ１５０のプロセッサ１５２が所定の制御周期毎に行う処理を示すフローチャートである。先ず、視線推定部１５２ａが、ドライバの視線が正面エリア３０を向いているか否かを推定する（ステップＳ１０）。ドライバの視線が正面エリア３０を向いていない場合、ドライバの視線は脇見エリア２０を向いていることが推定される。この場合、更に、視線推定部１５２ａが、ドライバの視線がちらちら脇見除外エリア４０を向いているか否かを推定する（ステップＳ１２）。

なお、ドライバモニタカメラ１２０はステアリングコラム上に設置されているため、ハンドルの角度位置によってはドライバモニタカメラ１２０の視野がハンドルのスポークによって遮られる場合がある。ステップＳ１０において、ドライバモニタカメラ１２０の視野がハンドルスポークによって遮られている場合、視線推定部１５２ａは、ドライバの視線が正面エリア３０を向いていると推定してもよい。

ステップＳ１２でドライバの視線がちらちら脇見除外エリア４０を向いていない場合、ドライバの視線は、脇見エリア２０からちらちら脇見除外エリア４０を除いたエリア、すなわち第１の脇見エリアを向いていると推定される。このため、第１の脇見判定部１５２ｂが、ちらちら脇見判定ロジックを実行する（ステップＳ１４）。続いて、第１の脇見判定部１５２ｂが長時間脇見判定ロジックを実行する（ステップＳ１６）。

一方、ステップＳ１２でドライバの視線がちらちら脇見除外エリア４０を向いていると推定される場合、ドライバの視線は、第２の脇見エリアを向いている。このため、第２の脇見判定部１５２ｃが、長時間脇見判定ロジックを実行する（ステップＳ１６）。このように、ドライバの視線がちらちら脇見除外エリア４０を向いている場合、ステップＳ１４のちらちら脇見判定ロジックは実行されず、ステップＳ１６の長時間脇見判定ロジックのみが実行される。

これにより、ドライバの視線がちらちら脇見除外エリア４０を向いている場合は、ちらちら脇見判定ロジックが実行されないことで、通常の運転行動に起因してドライバに警告が発せられることが抑制される。したがって、ドライバに不快感、不信感が生じることが抑制される。

一方、ドライバの視線がちらちら脇見除外エリア４０を向いている場合であっても、ステップＳ１６で長時間脇見判定ロジックが実行されることで、例えばドライバが長時間の間継続してドアミラー１４を見続けているような場合には警告が発せられる。したがって、ドライバの視線がちらちら脇見除外エリア４０を向いている場合であっても、通常の運転行動に起因しない場合は、警告が発せられることで安全性が担保される。

ステップＳ１６の後、車速が０［ｋｍ／ｈ］の継続時間が所定時間Ｔ＿１を超えているか否かが判定され（ステップＳ１８）、車速が０［ｋｍ／ｈ］の継続時間がＴ＿１を超えている場合、ちらちら脇見累積時間が０にリセットされる（ステップＳ２０）。後述するが、ちらちら脇見累積時間はステップＳ１４のちらちら脇見判定ロジックで使用され、ちらちら脇見累積時間が所定の累積時間以上になると、ドライバに対して警告が発せられる。ステップＳ２０でちらちら脇見累積時間が０にリセットされることで、ドライバが車両を運転していない状態でドライバに対してちらちら脇見の警告が行われることが抑制される。

また、上述したように、ハンドルの角度位置によってはドライバモニタカメラ１２０の視野がハンドルのスポークによって遮られる場合がある。このため、ドライバモニタカメラ１２０の視野がハンドルによって隠れた状態の継続時間が所定時間Ｔ＿２を超えているか否かが判定され（ステップＳ２２）、継続時間がＴ＿２を超えている場合、ちらちら脇見累積時間が０にリセットされる（ステップＳ２４）。これにより、ドライバの視線を正確に推定できない状態でドライバに対してちらちら脇見の警告が行われてしまうことが抑制される。ステップＳ２４の後、本制御周期における処理は終了する。

また、ステップＳ１０でドライバの視線が正面エリア３０を向いていると推定される場合、ドライバの視線が継続して正面エリア３０を向いている時間（正面継続時間）がカウントアップされ（ステップＳ２６）、正面継続時間が所定時間Ｔ＿３を超えると（ステップＳ２８でＹＥＳ）、ちらちら脇見累積時間が０にリセットされる（ステップＳ３０）。ステップＳ３０の後、処理はステップＳ１８へ進む。

一方、ステップＳ２８で正面継続時間が所定時間Ｔ３を超えていないと、ステップＳ３０の処理を行うことなく、処理はステップＳ１８へ進む。

図５は、図４のステップＳ１６における、長時間脇見判定ロジックの処理を示すフローチャートである。先ず、ドライバの視線が継続して脇見エリア２０を向いている時間（脇見継続時間）がカウントアップされ（ステップＳ４０）、正面継続時間が０にリセットされる（ステップＳ４２）。

次に、脇見継続時間が第１の所定時間Ｔ＿４以上であるか否かが判定され（ステップＳ４４）、脇見継続時間がＴ＿４以上の場合、長時間脇見と判定される。この場合、警告処理部１５２ｄによりドライバに警告するための処理が行われる（ステップＳ４８）。一方、ステップＳ４４で脇見継続時間がＴ＿４未満の場合、本制御周期の処理は終了する。

以上のように、長時間脇見判定ロジックでは、ドライバの視線が正面エリア３０を向いていない場合に、ドライバの視線が継続して脇見エリア２０を向いている脇見継続時間がカウントアップされ、脇見継続時間が第１の所定時間Ｔ＿４以上になると長時間脇見と判定される。脇見継続時間はドライバの視線が継続して脇見エリア２０を向いている時間であるため、以降の制御周期でドライバの視線が正面エリア３０を向くと、脇見継続時間のカウントアップは停止され、脇見継続時間は０にリセットされる。

図６は、図４のステップＳ１４における、ちらちら脇見判定ロジックの処理を示すフローチャートである。先ず、過去の第２の所定時間Ｔ＿５［ｓｅｃ］におけるちらちら脇見累積時間がカウントアップされ（ステップＳ５０）、正面継続時間が０にリセットされる（ステップＳ５２）。

次に、ちらちら脇見累積時間が所定の累積時間Ｔ＿６以上であるか否かが判定され（ステップＳ５４）、ちらちら脇見累積時間がＴ＿６以上の場合、ちらちら脇見と判定される。この場合、警告処理部１５２ｄによりドライバに警告するための処理が行われる（ステップＳ５６）。一方、ステップＳ５４でちらちら脇見累積時間がＴ＿６未満の場合、本制御周期の処理は終了する。

以上のように、ちらちら脇見判定ロジックでは、ドライバの視線が正面エリア３０を向いておらず、且つ、ちらちら脇見除外エリア４０を向いていない場合に、ちらちら脇見累積時間がカウントアップされ、ちらちら脇見累積時間が所定の累積時間Ｔ＿６以上になるとちらちら脇見と判定される。以降の制御周期でドライバの視線が正面エリア３０を向いた場合、または、視線がちらちら脇見除外エリア４０を向いた場合、ちらちら脇見累積時間のカウントアップは停止され、ちらちら脇見累積時間はメモリ１５４に保持されるが、図４のステップＳ２０，Ｓ２４，Ｓ３０のいずれかに進んだ場合にちらちら脇見累積時間は０にリセットされる。

なお、警告処理部１５２ｄは、図５のステップＳ４８と図６のステップＳ５６とで警告の強度を変えても良く、長時間脇見と判定された場合の警告（ステップＳ４８）の方がちらちら脇見と判定された場合の警告（ステップＳ５６）よりも警告の強度を高くしてもよい。例えば、警告処理部１５２ｄは長時間脇見と判定された場合の方がちらちら脇見と判定された場合よりも、表示装置１３０に表示される警告表示のサイズを大きくしてもよく、またスピーカ１４０から出力される音声のボリュームを大きくしてもよい。

なお、ちらちら脇見と判定されてドライバに対する警告が行われた後、次の制御周期でドライバの視線が正面エリア３０を向いていると推定された場合（図４のステップＳ１０でＹＥＳの場合）は、ステップＳ２８のＴ＿３をより大きな値としてもよい。これにより、ちらちら脇見と判定された後、ちらちら脇見累積時間が０にリセットされるまでより長い時間が必要とされる。したがって、例えばドライバが携帯端末をちらちら見ている場合に、警告を回避するため意図的に視線を正面エリア３０に戻す動作を行った場合であっても、ステップＳ３０でちらちら脇見累積時間が０にリセットされにくくなる。これにより、ドライバがそのような動作を行ったとしても、ちらちら脇見と判定される蓋然性がより高くなり、警告を回避するための意図的な行為が未然に防止される。

以上説明したように本実施形態によれば、運転支援システム１０００は、ドライバの視線が脇見エリア２０を向いている場合に、視線がちらちら脇見除外エリア４０を向いているか、あるいはちらちら脇見除外エリア４０以外のエリアを向いているかに応じて、脇見を判定するロジックを変更する。そして、運転支援システム１０００は、ドライバの視線が脇見エリア２０に向いている場合であっても、ちらちら脇見除外エリア４０に向いている場合は、例外的にちらちら脇見の判定を行わない。これにより、通常の運転行動によりドライバの視線がちらちら脇見除外エリア４０内のインナ―ミラー１２またはドアミラー１４などをちらちら見ている場合は、ちらちら脇見と判定されることがなく、ドライバに対する警告が行われないため、ドライバに不快感、不信感が生じることが抑制される。

１０ フロントガラス
１２ インナ―ミラー
１４ ドアミラー
２０ 脇見エリア
３０ 正面エリア（非脇見エリア）
４０ ちらちら脇見除外エリア
１２０ ドライバモニタカメラ
１３０ 表示装置
１４０ スピーカ
１５０ 電子制御装置（ＥＣＵ）
１５２ プロセッサ
１５２ａ 視線推定部
１５２ｂ 第１の脇見判定部
１５２ｃ 第２の脇見判定部
１５２ｄ 警告処理部
１５４ メモリ
１５６ 通信インターフェース
１０００ 運転支援システム

Claims (5)

1. 車両のドライバの視線の方向を推定する視線推定部と、
   ドライバの視線が車両進行方向から外れた第１の脇見エリアを向いた場合に、所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する第１の脇見判定部と、
   ドライバの視線が車両進行方向から外れた第２の脇見エリアを向いた場合に、前記第１の脇見判定部とは異なる所定の判定ロジックに基づいてドライバが脇見をしているか否かを判定する第２の脇見判定部と、
   を備える、運転支援装置。
2. 前記第１の脇見判定部は、ドライバの継続的な脇見を判定する第１の判定ロジックと、ドライバの断続的な脇見を判定する第２のロジックの双方に基づいてドライバが脇見をしているか否かを判定し、
   前記第２の脇見判定部は、ドライバの継続的な脇見を判定する前記第１の判定ロジックのみに基づいてドライバが脇見をしているか否かを判定する、請求項１に記載の運転支援装置。
3. 前記第１の脇見判定部は、ドライバの視線が第１の所定時間以上継続して前記第１の脇見エリアを向いた場合にドライバが脇見をしていると判定するとともに、ドライバの視線が第２の所定時間内にトータルで所定の累積時間以上又は所定割合以上前記第１の脇見エリアを向いた場合にドライバが脇見をしていると判定し、
   前記第２の脇見判定部は、ドライバの視線が前記第１の所定時間以上継続して前記第２の脇見エリアを向いた場合にドライバが脇見をしていると判定する、
   請求項１に記載の運転支援装置。
4. 前記第２の脇見エリアは、ドライバの運転行動に起因してドライバの視線が向くエリアである、請求項１～３のいずれかに記載の運転支援装置。
5. 前記第１の脇見判定部又は前記第２の脇見判定部によりドライバが脇見をしていると判定されると、ドライバに警告するための処理を行う警告処理部を更に含む、請求項１～３のいずれかに記載の運転支援装置。

Images