JP7342635B2 - 運転者状態推定装置および運転者状態推定方法 - Google Patents

Description

ここに開示された技術は、運転者状態推定に関する技術分野に属する。

昨今、国家的に自動運転システムの開発が推進されている。本願出願人は、現時点において、自動運転システムには、大きく分けると２つの方向性があると考えている。

第１の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、いわゆる自動車の完全自動走行である。一方、第２の方向性は、自動車の運転を楽しみたい等、あくまで人間が運転をすることを前提とした自動運転システムである。

第２の方向性の自動運転システムでは、例えば、運転者に疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動車が自動的に乗員に変わって自動運転を行うことが想定される。このため、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことをいかに早期にかつ精度良く発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。

運転者の異常を推定する方法として、例えば、特許文献１のように、車両の運転者の視線移動に基づいて、該運転者の状態を推定する試みが行われている。具体的に、特許文献１には、運転者の視線方向、及び自車両周辺を撮像する撮像手段より撮像された画像を取得すると共に、自車両周辺に存在する物体上の複数の点の各々の自車両を基準とする位置を特定する３次元位置情報を取得する取得手段と、運転者の視線先の目立ち度を計算する目立ち度計算手段と、目立ち度計算手段により計算された目立ち度に基づいて、運転者が目立つ部分に視線を向けた度合いと予め定めた閾値とを比較して、運転者の状態を判定する判定手段とを有する運転者状態判定装置が開示されている。

特許第５９６６６４０号公報

しかしながら、特許文献１の手法では、例えば雨天走行時などの前方視界がクリアに得られない場合において、運転者が目立つ部分に視線を向けた度合いを必ずしも的確に求めることができず、このため、運転者の状態を精度良く判定できないおそれがある。

ここに開示された技術は、運転者の視線移動に基づいて運転者の状態を推定する場合に、雨天走行時などにおける推定精度を向上させることを目的とする。

前記課題を解決するために、ここに開示された技術では、車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置を対象として、前記運転者の視線方向を検知する視線検知装置と、前記車両に搭載され、車両前側の外部環境を撮影するカメラと、前記カメラにより撮影された画像に対して画像処理を行って、画像データを出力する画像処理部と、前記画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、前記推定部は、前記車両のワイパーが作動したとき、前記視線検知装置の出力データから検出した前記運転者の視線移動幅の変化と、前記ワイパーの払拭タイミングとを用いて、前記運転者の状態を推定する処理を行う、という構成とした。

この技術では、推定部は、運転者の視線方向及び誘目度マップに基づいて、運転者の状態を推定する。さらに推定部は、車両のワイパーが作動したとき、運転者の視線移動幅の変化と、ワイパーの払拭タイミングとを用いて、運転者の状態を推定する処理を行う。雨天走行時には、ワイパーによる払拭領域しか前方視界が得られず、また、ワイパーアームへの誘目により、前方視野における視線移動要因が複雑になる。このため、前方景色の高サリエンシー領域と視線移動の有意な関係が必ずしも得られなくなる。そこで、本技術では、車両のワイパーが作動したとき、運転者の視線移動幅の変化と、ワイパーの払拭タイミングとを用いて、運転者の状態を推定する。これは、ワイパー払拭直後のクリアな前方視界から付着雨滴個数の増大に応じて、視線移動幅が小さくなるという、本願発明者らによる実験知見に注目したものである。これにより、雨天走行で前方景色に基づくサリエンシーへの誘目性が不明確になる場合であっても、補助的に運転者の状態を推定することができる。

また、前記推定部は、前記処理において、前記運転者の視線移動幅の増減タイミングと前記ワイパーの払拭タイミングとが連動しているとき、前記運転者は正常状態にあると推定する、としてもよい。

これにより、雨天走行で前方景色に基づくサリエンシーへの誘目性が不明確になる場合であっても、運転者が正常状態あるか否かを推定することができる。

また、ここに開示された技術では、コンピュータを用いて構成された運転者状態推定装置において、車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定方法を対象として、コンピュータが、前記車両のワイパーが作動したとき、前記運転者の視線方向を示す検知する視線検知装置の出力データと、前記ワイパーの払拭タイミングを示すデータとを取得するステップと、コンピュータが、前記視線検知装置の出力データから、前記運転者の視線移動幅の変化を検出するステップと、コンピュータが、検出した前記運転者の視線移動幅の変化と、前記ワイパーの払拭タイミングとを用いて、前記運転者の状態を推定するステップとを備える、という構成とした。

この技術では、車両のワイパーが作動したとき、運転者の視線方向を示す検知する視線検知装置の出力データから、運転者の視線移動幅の変化が検出される。そして、運転者の視線移動幅の変化と、ワイパーの払拭タイミングとを用いて、運転者の状態が推定される。これにより、例えば雨天走行時において、簡易な処理によって、運転者の状態を推定することができる。

以上説明したように、ここに開示された技術によると、運転者の視線移動に基づいて運転者の状態を推定する場合に、雨天走行時などにおける推定精度を向上させることができる。

例示的な実施形態に係る運転者状態推定装置を搭載した車両の車室内の前側部分を示す概略図である。 車両を前側から見た正面図である。 運転者状態推定装置の構成を示すブロック図である。 カメラにより撮影された車両前側の外部環境を示す図である。 カメラで撮影された画像に基づいて算出されたサリエンシーの分布を示す図である。 運転者の注視点のサリエンシーを示すグラフである。 誘目度マップからランダムに摘出した点のサリエンシーを示すグラフである。 ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とを比較したグラフである。 推定部の処理動作を示すフローチャートである。 運転者の視線移動軌跡の例であり、（ａ）はワイパーの払拭直後、（ｂ）は払拭後に雨滴付着個数が増したときである。 視線移動幅の変化とワイパーの払拭タイミングとの関係を示すグラフである。 ワイパー動作を利用した運転者状態推定処理の例を示すフローチャートである。

以下、例示的な実施形態について、図面を参照しながら詳細に説明する。尚、以下の説明において、車両の前進走行側を単に前側といい、後退走行側を単に後側という。また、後側から前側を見たときの左側を左側といい、その逆を右側という。

図１は、車両としての自動車の車室内を概略的に示す。この車両は、右ハンドル式の車両であって、右側にステアリングホイール８が配置されている。

車室内において、運転席から見て車両前側にはフロントウィンドウガラス１が配置されている。フロントウィンドウガラス１は、車室内側から見て、複数の車両構成部材により区画されている。具体的には、フロントウィンドウガラス１は、左右のフロントピラートリム２と、ルーフトリム３と、インストルメントパネル４とによって区画されている。

左右のフロントピラートリム２は、フロントウィンドウガラス１の車幅方向外側の境界をそれぞれ構成している。各フロントピラートリム２は、各フロントピラーに沿って配置されている。各フロントピラートリム２は、図１に示すように、上側に向かって互いに離間するように斜めに傾斜してそれぞれ配置されている。

ルーフトリム３は、フロントウィンドウガラス１の上側の境界を構成している。ルーフトリム３は、車両のルーフパネルの車室内側を覆っている。フロントウィンドウガラス１の車幅方向の中央でかつルーフトリム３のやや下側の部分には、バックミラー５が取り付けられている。ルーフトリム３におけるバックミラー５の近傍部分には、車室内、特に、運転者の顔面を撮影する車室内カメラ１０１が設けられている。

インストルメントパネル４は、フロントウィンドウガラス１の下側の境界を構成している。インストルメントパネル４には、メーターボックスやディスプレイ７が設けられている。

また、前記車両は、左右のフロントピラーよりも車幅方向外側に、サイドミラー６をそれぞれ有している。各サイドミラー６は、運転席に着座した運転手がサイドドアのウィンドウ越しに見ることが出来るように配置されている。

前記車両は、図２に示すように、車両前側の外部環境を撮影するためのカメラ１００が設けられている。カメラ１００は、車両の前側端部であって、車両のボンネット９よりもやや下側に配置されている。また、雨天時等においてフロントウィンドウガラス１を払拭するためのワイパー１０が設けられている。

（運転者状態推定装置の構成）
本実施形態に係る車両は、運転者の視線移動に基づいて、該運転者の状態を推定する機能を有している。図３は、運転者状態推定装置２０の構成を示す。運転者状態推定装置２０は、実際に運転者状態を推定するための推定部５４を有するコントローラ５０を有する。このコントローラ５０は、周知のマイクロコンピュータをベースとするコントローラであって、プログラムを実行する中央演算処理装置（Central Processing Unit：ＣＰＵ）と、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）により構成されてプログラム及びデータを格納するメモリと、電気信号の入出力をする入出力バスと、を備えている。

コントローラ５０は、図３に示すように、各種のセンサと接続されている。センサは、例えば、車両前側の外部環境を撮影するカメラ１００と、運転者の顔面を撮影する車室内カメラ１０１と、ステアリングホイール８に設けられ、運転者の手の発汗状態を検知する発汗センサ１０２とを含む。また、コントローラ５０は、ワイパー１０から、作動の有無や払拭タイミング等を示す制御信号を受ける。

コントローラ５０は、車室内カメラ１０１により撮影された運転者の顔面から、運転者の視線方向を算出する視線算出部５１を有する。視線算出部５１は、例えば、運転者が車室内カメラ１０１のレンズを覗いた状態を基準にして、そこからの運転者の瞳孔の変化を検知することで運転者の視線方向を算出する。視線方向の算出は、運転者の左目及び右目のどちらか一方から算出してもよいし、運転者の両目のそれぞれから求めた視線方向（視線ベクトル）の平均値としてもよい。また、運転者の瞳孔の変化からは運転者の視線方向を算出することが困難であるときには、運転者の顔の向きから視線方向を算出してもよい。車室内カメラ１０１及びコントローラ５０は、視線検知装置の一例である。

コントローラ５０は、カメラ１００により撮影された画像Ｄ１に対して画像処理を行って、画像データＤ２を出力する画像処理部５２を有する。画像処理部５２により実行される画像処理については後述する。

コントローラ５０は、画像データＤ２に基づいて、車両前側の物標に対して、運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップＤ３を生成する誘目度算出部５３を有する。本実施形態では、誘目度算出部５３は、誘目度としてサリエンシー（視覚的顕著性）を算出する。サリエンシーとは、色、輝度、動き等により刻々と変化する顕著性からなる視覚特徴量である。すなわち、サリエンシーが高いとは、顕著性が高いことを表し、サリエンシーが高い領域とは周囲に対して目立つ領域のことである。より具体的には、周囲の領域に対して色差や輝度差が大きかったり、周囲に対して大きな動きをしていたりする領域は、サリエンシーが高くなる。

コントローラ５０は、誘目度マップＤ３、視線算出部５１が算出した運転者の視線方向、発汗センサ１０２の検出結果、及び車室内カメラ１０１により撮影された運転者の瞳孔径の変化に基づいて、運転者の状態を推定する推定部５４を有する。詳しくは後述するが、推定部５４は、誘目度マップＤ３及び視線算出部５１の算出結果から、運転者が正常状態であるか異常状態であるかを推定する。推定部５４は、運転者が異常状態であると推定されるときに、発汗センサ１０２の検出結果及び車室内カメラ１０１により撮影された運転者の瞳孔径の変化等から、運転者の状態をより詳細に推定する。尚、運転者の異常状態とは、運転者に体調異常が発生している状態に限らず、運転者の漫然状態や、運転者の覚醒度が低下（眠気が増加）している状態を含む。

コントローラ５０は、推定部５４の推定結果に基づいて、車両に搭載された各種アクチュエータＡ、ディスプレイ７、ブザーＢ等を制御する。尚各種アクチュエータＡとは、エンジンシステム、ブレーキシステム、及びステアリングシステムを構成するアクチュエータを含む。

（画像処理部による画像処理）
次に、画像処理部５２による画像処理について説明する。画像処理部５２は、例えば、カメラ１００の撮影した画像Ｄ１に対して、画像Ｄ１を構成する素子のうち誘目度算出部５３での処理（サリエンシーの算出）に不要な画素を削除する処理を行い、画像データＤ２を作成する。

図４は、カメラ１００が撮影した車両前側の外部環境を示す画像Ｄ１である。この画像Ｄ１に示す外部環境には、車道１５０と、車道１５０上の白線１５１とが含まれている。また、この画像Ｄ１に示された外部環境には、他車両１６１と、車道１５０の右側に形成された壁１６２と、壁１６２よりも右側の領域に植えられた樹木１６３と、壁１６２よりも右側の領域に広がる丘１６４と、車道１５０の左側に形成された森林１６５が含まれている。また、この画像Ｄ１に示された外部環境には、建物１６６と、建物１６６及び森林１６５の上側に広がる空１６７が含まれている。尚、以下の説明において、画像Ｄ１の空１６７は曇り空であり、ほぼ白色であると仮定する。

（誘目度マップの生成）
誘目度算出部５３は、画像データＤ２に対してサリエンシーを算出して、誘目度マップ（ここでは、サリエンシーマップ）を生成する。前述したように、サリエンシーは、物標の色、輝度、動き等により変化する。そこで、本実施形態では、誘目度算出部５３は、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して、特徴毎の誘目度マップを生成した後に、それらを足し合わせることで最終的な誘目度マップＤ３を生成する。

例えば、色に基づくサリエンシーについては、誘目度算出部５３は、色差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。また、例えば、輝度に基づくサリエンシーについては、誘目度算出部５３は、輝度差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。

尚、サリエンシーの算出自体は、インターネット上等で公開されている既知のコンピュータプログラムを用いることができる。また、特徴毎の誘目度マップ（ここではサリエンシーマップ）の算出及び各誘目度マップの統合についても既知のコンピュータプログラムを用いることができる。

図５は、画像データＤ２に基づいてサリエンシーを算出した場合の、該サリエンシーの分布を示す誘目度マップである。図５に示すように、例えば、樹木１６３及び森林１６５における空１６７との境界部分や、車道１５０の左側の白線１５１がサリエンシーの高い部分となっている。

（視線頻度の算出）
次に視線頻度の算出について図６～図８を参照しながら説明する。尚、本実施形態では、視線頻度の算出は推定部５４が行う。なお、これに限らず、視線頻度を計算するためのプロセッサを推定部５４とは別に設けてもよい。

図６は、運転者の注視点、すなわち、運転者の視線の先にある点のサリエンシーをプロットしたものである。このグラフは、視線算出部５１により運転者の視線方向を割り出して、該視線方向の先にある注視点を誘目度マップＤ３に当てはめて、該誘目度マップＤ３から当該注視点のサリエンシーを求めることで生成される。この各点は例えば、５秒毎に求められる。

一方で、図７は、誘目度算出部５３により生成された誘目度マップＤ３からランダムに座標を指定して、該座標のサリエンシーを求めることで生成される。この各点は例えば、５秒毎に求められる。

図６及び図７のグラフをそれぞれ作成した後は、ランダム点における閾値を超える割合に対する運転者の注視点における閾値を超える割合を求める。具体的には、まず、第１ステップとして、閾値を図６及び図７のグラフにおいて最大値よりも大きい値に設定する。次に、第２ステップとして、閾値を低下させながら、閾値毎に該閾値を超えた点の割合を求める。そして、この第２ステップの処理を閾値が、図６及び図７のグラフにおいて最小値以下になるまで繰り返す。

図６及び図７に示すグラフは、単位時間毎に区切って生成される。単位時間は、例えば、５秒である。

前記第１及び第２ステップの後、第３ステップとして、ランダム点における閾値を超える割合（第１確率という）を横軸にとりかつ運転者の注視点における閾値を超える割合（第２確率という）を縦軸にとって、図８のようなグラフを作成する。図８のグラフは、同一の閾値におけるランダム確率に対する注視確率を表す。図８のグラフは、横軸及び縦軸ともに確率であるため、曲線の最小値は０であり、最大値は１である。

図８において破線は、運転者の視線が視界全体に偏りなく向いていることを表す。すなわち、運転者の視線が視角領域全体に亘っているのであれば、第１確率と第２確率とは大きくずれることはない。このため、運転者の視線が視角領域全体に亘っているのであれば、第１確率と第２確率とを比較したときには、図８に破線で示すような直線形状になる。これに対して、図８の曲線Ｃ１のように、曲線が上側に凸に広がる場合は、運転者の注視点は閾値を超える割合が高いことを表す。すなわち、図８の曲線Ｃ１のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの高い箇所を見る傾向にあることを意味している。一方で、図８の曲線Ｃ２のように、曲線が下側に凸に広がる場合は、運転者の注視点は閾値を超える割合が低いことを表す。すなわち、図８の曲線Ｃ２のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの低い箇所を見る傾向にあることを意味している。

本実施形態では、第４ステップとして、この曲線を積分（つまり、曲線と図８の２点鎖線とで囲まれた部分の面積を算出）して、該積分値を視線頻度としている。このように、運転者が注視した箇所のサリエンシーと、誘目度マップＤ３からランダムに指定した座標とを比較して視線頻度を算出することで、視線頻度の算出精度を向上させることができる。すなわち、誘目度マップＤ３においてサリエンシーが高い領域がマップ全体に広がっていた場合、運転者がどの位置を注視したとしてもサリエンシーの高い箇所を見ることになる。この場合、単純に閾値以上のサリエンシーを見た割合を算出するだけでは、たとえ運転者が視界領域全体を偏りなく見ていたとしても、視線頻度が高いと算出されてしまう。これに対して、本実施形態のように、ランダム点との比較を行うようにすれば、サリエンシーが高い領域がマップ全体に広がっていたとしても、運転者の視界領域全体をランダムに見た場合と同じ傾向にあるか比較できる。したがって、運転者の視線方向に偏りがあるか否かをより正確に判断することができる。

（運転者状態の推定）
次に、推定部５４により運転者状態を推定する処理動作を図９のフローチャートに基づいて説明する。

まず、ステップＳ１０１において、推定部５４は、各種データを取得する。特に、推定部５４は、視線算出部５１の算出結果、誘目度算出部５３により生成された誘目度マップＤ３、車室内カメラ１０１で取得された運転者の顔面の画像データ、及び発汗センサ１０２の検知結果を取得する。

次のステップＳ１０２において、推定部５４は、視線頻度を算出する。推定部５４は、前述したような計算方法により視線頻度を算出する。

続くステップＳ１０３において、推定部５４は、運転者の注意力が低下しているか否かを推定する。具体的には、推定部５４は、前記ステップＳ１０２で算出した視線頻度が所定頻度以上であるときには運転者の注意力が低下していると推定する。推定部５４は、視線頻度が所定頻度以上であって、運転者の注意力が低下していると推定されるＹＥＳのときには、ステップＳ１０４に進む。一方で、推定部５４は、視線頻度が所定頻度未満であって、運転者の注意力が低下していないと推定されるＮＯのときには、ステップＳ１０６に進む。

前記ステップＳ１０４では、推定部５４は、運転者が、交感神経が優位な状態であるか否かを推定する。具体的には、推定部５４は、発汗センサ１０２により検知される単位時間あたりの発汗量が所定量以上であるときには、交感神経が優位な状態であると推定する。一方で、推定部５４は、発汗センサ１０２により検知される単位時間あたりの発汗量が所定量未満であるときには、副交感神経が優位な状態であると推定する。推定部５４は、発汗センサ１０２の検知結果が所定量以上であって、交感神経が優位であると推定されるＹＥＳのときには、ステップＳ１０５に進む。一方で、推定部５４は、発汗センサ１０２の検知結果が所定量未満であって、副交感神経が優位であると推定されるＹＥＳのときには、ステップＳ１０７に進む。

前記ステップＳ１０５では、推定部５４は、運転者が、能動的に運転している状態であるか否かを推定する。具体的には、推定部５４は、車室内カメラ１０１により撮影された運転者の瞳孔径の変化から推定する。より詳しくは、推定部５４は、運転者の視線移動の前後で瞳孔径にほとんど変化がなかった場合には、運転者は能動的に運転していると推定する。一方で、推定部５４は、運転者の視線移動の前後で瞳孔径が変化している場合には、運転者は受動的に運転していると推定する。これは、運転者が受動的に運転をしているときには、目に刺激を受けてから視線を移動させるためである。推定部５４は、運転者が能動的に運転していると推定されるＹＥＳのときには、ステップＳ１０９に進む。一方、推定部５４は、運転者が受動的に運転していると推定されるＮＯのときには、ステップＳ１０８に進む。尚、運転者の左目の視線と右目の視線との交差角である輻輳角を算出して、該輻輳角に基づいて運転者が能動的に運転しているか否かを推定するようにしてもよい。

前記ステップＳ１０６では、推定部５４は、運転者は正常な状態であると推定する。すなわち、運転者に何らかの異常がある場合には、運転者の注意力が低下する。よって、運転者に注意力の低下が見られない場合には、運転者は正常な状態であると推定する一方、運転者に注意力の低下が見られる場合には、運転者に異常が生じていると推定することができる。ステップＳ１０６の後は、リターンする。

前記ステップＳ１０７では、推定部５４は、運転者の覚醒度が低下（眠気が増加）している状態であると推定する。一般に、副交感神経が優位な状態は、睡眠時に交感神経に対して優位になる。このため、注意力が低下しかつ副交感神経が優位な状態とは、運転者の覚醒度が低下している状態であると推定することができる。ステップＳ１０７の後はリターンする。

前記ステップＳ１０８では、推定部５４は、運転者が漫然状態であると推定する。すなわち、運転者が覚醒状態でありながら受動的に運転していることから、運転者は運転以外のことを考えながら運転している漫然状態であると推定することができる。ステップＳ１０８の後はリターンする。

前記ステップＳ１０９では、推定部５４は、運転者に体調異常が生じていると推定する。すなわち、運転者は、体調に異常が生じていたとしても正常な運転を続けようとする。このため、正常な運転を運転者が覚醒状態であって、能動的に運転しているにも拘わらず、注意力が低下している状態であれば、運転者の体調に何らかの異常が生じていると推定することができる。ステップＳ１０９の後はリターンする。

以上のようにして、推定部５４により運転者の状態が推定される。コントローラ５０は、運転者の覚醒度が低下していたり（ステップＳ１０７）、運転者が漫然状態であったり（ステップＳ１０８）と推定されたときには、例えば、ブザーＢを鳴らしたり、ディスプレイ７に表示したりする。これにより、コントローラ５０は、運転者の覚醒を促したり、運転に集中するように促したりする。また、コントローラ５０は、推定部５４により運転者に体調異常が生じていると推定されたときには、例えば、各種アクチュエータＡに制御信号を出力して、車両を路肩等の安全な領域まで走行させるとともに、該安全な領域に車両を停止させる。

（ワイパー動作を利用した運転者状態推定処理）
ここで、雨天走行などにおいてワイパー１０が作動するときには、次のような問題が生じる。すなわち、ワイパー１０が作動しているとき、運転者は、ワイパー１０がフロントウィンドウガラス１を払拭した領域しか前方視界を得ることができない。ワイパー１０が払拭できない範囲は、雨粒等のために、運転者はクリアな視界を得ることができない。また、運転者は、ワイパー１０の動きをつい目で追ってしまうときがあり、このワイパー１０の誘目作用により、前方視野における視線移動要因が複雑になってしまう。このため、雨天走行時などでは、前方景色の高サリエンシー領域と視線移動の有意な関係が得られなくなる可能性が高い。

一方で、本願発明者らによる実験によって、ワイパー１０の払拭直後における視界がクリアな状態から、フロントウィンドウに付着する雨滴の増大に応じて、運転者の視線移動幅が徐々に小さくなる、という知見が得られている。

図１０はフロントウィンドウガラス１を介した視界の中における、運転者の視線移動軌跡の例を示しており、（ａ）はワイパー１０の払拭直後の状態、（ｂ）は払拭後から付着雨滴の個数が増した状態を示している。破線が、運転者の視線の移動軌跡を表している。図１０（ａ）に示すように、ワイパー１０の払拭直後の雨滴付着がない状態では、前方視界がクリアなので、運転者の視線は広い範囲で移動しており、視線移動の幅は大きい。これに対して、図１０（ｂ）に示すように、多くの雨滴が付着した状態では、運転者の視線が付着した雨滴間に捕らわれるとともに、視線移動の幅は小さくなる。

本開示の技術では、上のような知見に着目し、ワイパー１０が作動したとき、運転者の視線移動幅の変化と、ワイパー１０の払拭タイミングとを用いて、運転者の状態を推定する。これにより、雨天走行などで、前方景色に基づくサリエンシーへの誘目性が不明確になる場合であっても、補助的に運転者状態推定が可能となる。

図１１は視線移動幅の変化とワイパー１０の払拭タイミングとの関係を表すグラフである。図１１に示すように、運転者が正常状態にあるときは、運転者の視線移動幅は、ワイパー１０の払拭タイミングの後に大きくなり、その後、雨滴が付着するにつれて徐々に小さくなっていく。この結果、運転者の視線移動幅は、ワイパー１０の払拭タイミングとほぼ連動して、増減を繰り返す。一方で、運転者の注意力が低下している場合は、運転者の視線移動幅は、ワイパー１０の払拭タイミングとは連動せず、小さいままになる。

図１２はワイパー１０作動時における運転者状態の推定処理の例を示すフローチャートである。この処理は、例えば、推定部５４が行う。ワイパー１０が作動すると（Ｓ２０１でＹＥＳ）、推定部５４はワイパー１０からの制御信号を受けて、本推定処理を開始する。推定部５４は、本推定処理に必要となるデータを取得する（Ｓ２０２）。具体的には、ワイパー１０から払拭タイミングを示すデータを取得し、視線算出部５１から運転者の視線移動のデータを取得する。そして、視線算出部５１から取得した視線移動のデータから、視線移動幅の変化を検出する（Ｓ２０３）。

そして、検出した運転者の視線移動幅の変化と、ワイパーの払拭タイミングとを用いて、運転者の状態を推定する。具体的には例えば、運転者の視線移動幅の増減タイミングが、ワイパー１０の払拭タイミングと連動しているか否かを判定する（Ｓ２０４）。そして、連動していると判定したときは、運転者は正常状態にあると判定する（Ｓ２０５）。連動していないと判定したときは、運転者は注意力が低下した状態にあると判定する（Ｓ２０６）。なお、運転者は注意力が低下した状態にあると判定した場合において、さらに、図９のフローチャートと同様に、交感神経が優位な状態であるか否かを推定したり、運転者が能動的に運転している状態であるか否かを推定したりすることによって、運転者の状態をさらに細かく推定するようにしてもよい。

以上のように本実施形態によると、運転者状態推定装置２０において、推定部５４は、運転者の視線方向及び誘目度マップに基づいて、運転者の状態を推定する。さらに推定部５４は、車両のワイパー１０が作動したとき、運転者の視線移動幅の変化と、ワイパー１０の払拭タイミングとを用いて、運転者の状態を推定する処理を行う。これにより、雨天走行で前方景色に基づくサリエンシーへの誘目性が不明確になる場合であっても、補助的に運転者の状態を推定することができる。

なお、上の説明では、ワイパー動作を利用した運転者状態の推定処理は、誘目度を利用した運転者状態推定処理の補助的な処理として行われるものとしたが、これに限られるものではない。すなわち、上述したワイパー動作を利用した運転者状態の推定処理は、例えば専用の装置によって、単独で実行してもかまわない。これにより、雨天走行時において、簡易な処理によって、運転者の状態を推定することができる。

前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。

ここに開示された技術は、車両の運転者の視線移動に基づいて、運転者の状態を推定する運転者状態推定技術として有用である。

１０ ワイパー
２０ 運転者状態推定装置
５０ コントローラ
５２ 画像処理部
５３ 誘目度算出部
５４ 推定部
１００ カメラ
１０１ 車室内カメラ

Claims (3)

1. 車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置であって、
   前記運転者の視線方向を検知する視線検知装置と、
   前記車両に搭載され、車両前側の外部環境を撮影するカメラと、
   前記カメラにより撮影された画像に対して画像処理を行って、画像データを出力する画像処理部と、
   前記画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、
   前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、
   前記推定部は、
   前記車両のワイパーが作動したとき、前記視線検知装置の出力データから検出した前記運転者の視線移動幅の変化と、前記ワイパーの払拭タイミングとを用いて、前記運転者の状態を推定する処理を行う
   ことを特徴とする運転者状態推定装置。
2. 請求項１に記載の運転者状態推定装置において、
   前記推定部は、
   前記処理において、前記運転者の視線移動幅の増減タイミングと前記ワイパーの払拭タイミングとが連動しているとき、前記運転者は正常状態にあると推定する
   ことを特徴とする運転者状態推定装置。
3. コンピュータを用いて構成された運転者状態推定装置において、車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定方法であって、
   コンピュータが、前記車両のワイパーが作動したとき、前記運転者の視線方向を示す検知する視線検知装置の出力データと、前記ワイパーの払拭タイミングを示すデータとを取得するステップと、
   コンピュータが、前記視線検知装置の出力データから、前記運転者の視線移動幅の変化を検出するステップと、
   コンピュータが、検出した前記運転者の視線移動幅の変化と、前記ワイパーの払拭タイミングとを用いて、前記運転者の状態を推定するステップとを備える
   ことを特徴とする運転者状態推定方法。

Images