JP7276083B2 - 運転者状態推定装置 - Google Patents

Description

ここに開示された技術は、運転者状態推定装置に関する技術分野に属する。

昨今、国家的に自動運転システムの開発が推進されている。本願出願人は、現時点において、自動運転システムには、大きく分けると２つの方向性があると考えている。

第１の方向性は、自動車が主体となって運転者の操作を要することなく乗員を目的地まで運ぶシステムであり、いわゆる自動車の完全自動走行である。一方、第２の方向性は、自動車の運転を楽しみたい等、あくまで人間が運転をすることを前提とした自動運転システムである。

第２の方向性の自動運転システムでは、例えば、運転者に疾患等が発生し正常な運転が困難な状況が発生した場合等に、自動車が自動的に乗員に変わって自動運転を行うことが想定される。このため、運転者に異常が発生したこと、特に、運転者に機能障害や疾患が発生したことをいかに早期にかつ精度良く発見できるかが、運転者の救命率の向上や周囲を含めた安全を確保する観点から極めて重要となる。

運転者の異常を推定する方法として、例えば、特許文献１のように、車両の運転者の視線移動に基づいて、該運転者の状態を推定する試みが行われている。具体的に、特許文献１には、運転者の視線方向、及び自車両周辺を撮像する撮像手段より撮像された画像を取得すると共に、自車両周辺に存在する物体上の複数の点の各々の自車両を基準とする位置を特定する３次元位置情報を取得する取得手段と、運転者の視線先の目立ち度を計算する目立ち度計算手段と、目立ち度計算手段により計算された目立ち度に基づいて、運転者が目立つ部分に視線を向けた度合いと予め定めた閾値とを比較して、運転者の状態を判定する判定手段とを有する運転者状態判定装置が開示されている。

特許第５９６６６４０号公報

しかしながら、カメラにより取得された画像と、実際の運転者の視界領域とには違いがある。すなわち、一般に、運転者の視界には車両前側の外部環境に加えて、車両構成部材が含まれる。本願発明者らが鋭意研究した結果、これら車両構成部材の有無により、運転者の視界領域において、運転者の視線が惹きつけられる場所が変化することが分かった。このため、単純にカメラで撮影された画像から目立ち度等を算出するのでは、運転者の状態を推定する精度が低くなってしまう。

ここに開示された技術は、車両走行時における運転者の状態を推定する精度を向上させる。

前記課題を解決するために、ここに開示された技術では、車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置を対象として、前記運転者の視線方向を検知する視線検知装置と、前記車両に搭載され、車両前側の外部環境を撮影するカメラと、前記カメラにより撮影された画像に対して、前記車両の走行時に前記運転者の視界領域に入るフロントピラートリムを示す画像を合成して、合成画像データを出力する画像処理部と、前記合成画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、前記誘目度算出部は、前記フロントピラートリムの近傍領域の誘目度を算出するときには、前記合成画像データにおける当該フロントピラートリムの鉛直方向に対する傾斜角度を考慮して誘目度を算出する、という構成とした。

すなわち、本願発明者らの研究により、フロントピラートリムの角度が誘目度に影響を与えることが分かった。具体的には、フロントピラートリムの鉛直方向に対する傾斜角度（鋭角側の角度、以下、ピラー傾斜角度という）が大きいときには、運転者の視界領域におけるフロントピラートリムの近傍領域の誘目度が高くなることが分かった。ピラー傾斜角度が小さい場合、フロントピラートリムの近傍に位置する物標は、車両が前進したときには、その全体が略同時にフロントピラートリムによって遮られる。一方で、ピラー傾斜角度が大きい場合、フロントピラートリムの近傍領域に視認される物標は、車両が前進したときには、下側の部分から徐々にフロントピラートリムによって遮られる。これにより、ピラー傾斜角度が大きい場合、物標が後側かつ上側に移動しているように錯覚される。このため、ピラー傾斜角度が大きい場合、フロントピラートリムの近傍領域に視認される物標は運転者の視線を惹きつけやすくなる。

前述の構成によると、フロントピラートリムの鉛直方向に対する傾斜角度を考慮して誘目度を算出されるため、運転者の視界領域における誘目度の算出精度が向上する。よって、運転者の視線移動に基づいて運転者の状態を推定する場合に、車両走行時における運転者の状態を推定する精度を向上させることができる。

尚、ここでいう誘目度は、周囲に対する目立ちやすさを表すものであって、熟練の運転者が意識的に見る場合は考慮しないものである。

前記運転者状態推定装置において、前記誘目度算出部は、前記フロントピラートリムの前記傾斜角度が大きいときには、前記傾斜角度が小さいときと比較して、誘目度を高くする、という構成でもよい。

すなわち、前記ピラー傾斜角度が大きいときには、運転者の視線を惹きつけやすい。このため、前述の構成によると、運転者の視界領域における誘目度を一層精度良く算出することができる。この結果、車両走行時における運転者の状態を推定する精度を一層向上させることができる。

前記運転者状態推定装置において、前記誘目度算出部は、前記合成画像データにおいて前記近傍領域に位置する物標の長手方向と前記フロントピラートリムの長手方向とのなす角度が大きいときには、前記角度が小さいときと比較して、誘目度を高くする、という構成でもよい。

すなわち、前記ピラー傾斜角度が大きかったとしても、物標の長手方向がフロントピラートリムの長手方向と略平行であれば、車両が前進したときには、当該物標の全体が略同時にフロントピラートリムによって遮られる。つまり、物標の長手方向とフロントピラートリムの長手方向とのなす角度が小さければ、物標が動いているように錯覚されにくいため、運転者の視線を惹きつけにくくなる。したがって、物標の長手方向とフロントピラートリムの長手方向とのなす角度が小さければ誘目度は低くなる。よって、前述の構成によると、運転者の視界領域における誘目度を一層精度良く算出することができる。この結果、車両走行時における運転者の状態を推定する精度を一層向上させることができる。

前記運転者状態推定装置の一実施形態において、前記推定部は、前記視線検知装置により検知される前記運転者の視線が、誘目度が所定値以上の領域に向いた頻度である視線頻度に基づいて、前記運転者の状態を推定する、という構成であってもよい。

特に、前記一実施形態において、前記推定部は、前記視線頻度が所定頻度以上であるときに、前記運転者に異常が生じていると推定する、という構成であってもよい。

すなわち、運転者は、正常な状態であれば、車両走行時には駐車車両、歩行者、脇道等の注視すべき視認対象物を見ながら運転する。しかしながら、運転者が漫然状態であったり、運転者に体調異常が発生して能動的な運転が出来なくなったりしたときには、運転者は、誘目度が高い領域に自然と視線を向けるようになる。つまり、運転者が誘目度の高い領域を見る頻度が高いときには、運転者に異常が生じている可能性が高い。このため、運転者の視線頻度により運転者の状態を推定するようにすれば、車両走行時における運転者の状態を推定する精度をより一層向上させることができる。

以上説明したように、ここに開示された技術によると、運転者の視線移動に基づいて運転者の状態を推定する場合に、車両走行時における運転者の状態を推定する精度を向上させることができる。

例示的な実施形態１に係る運転者状態推定装置を搭載した車両の車室内を前側部分を示す概略図である。 車両を前側から見た正面図である。 運転者状態推定装置の構成を示すブロック図である。 カメラにより撮影された車両前側の外部環境を示す図である。 合成画像データを示す図であって、フロントピラートリムの鉛直方向に対する傾斜角度が小さい場合を示す。 合成画像データを示す図であって、フロントピラートリムの鉛直方向に対する傾斜角度が大きい場合を示す。 図５Ａに示す合成画像データに基づいて算出されたサリエンシーの分布を示す図である。 図５Ｂに示す合成画像データに基づいて算出されたサリエンシーの分布を示す図である。 運転者の注視点のサリエンシーを示すグラフである。 誘目度マップからランダムに摘出した点のサリエンシーを示すグラフである。 ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とを比較したグラフである。 推定部の処理動作を示すフローチャートである。 実施形態２に係る運転者状態推定装置において、サリエンシーの算出方法を概念的に示す図である。

以下、例示的な実施形態について、図面を参照しながら詳細に説明する。尚、以下の説明において、車両の前進走行側を単に前側といい、後退走行側を単に後側という。また、後側から前側を見たときの左側を左側といい、その逆を右側という。

〈実施形態１〉
図１は、車両としての自動車の車室内を概略的に示す。この車両は、右ハンドル式の車両であって、右側にステアリングホイール８が配置されている。

車室内において、運転席から見て車両前側にはフロントウィンドウガラス１が配置されている。フロントウィンドウガラス１は、車室内側から見て、複数の車両構成部材により区画されている。具体的には、フロントウィンドウガラス１は、左右のフロントピラートリム２と、ルーフトリム３と、インストルメントパネル４とによって区画されている。

左右のフロントピラートリム２は、フロントウィンドウガラス１の車幅方向外側の境界をそれぞれ構成している。各フロントピラートリム２は、各フロントピラー１２に沿って配置されている。各フロントピラートリム２は、図１に示すように、上側に向かって互いに離間するように斜めに傾斜してそれぞれ配置されている。

ルーフトリム３は、フロントウィンドウガラス１の上側の境界を構成している。ルーフトリム３は、車両のルーフパネル１３の車室内側を覆っている。フロントウィンドウガラス１の車幅方向の中央でかつルーフトリム３のやや下側の部分には、バックミラー５が取り付けられている。ルーフトリム３におけるバックミラー５の近傍部分には、車室内、特に、運転者の顔面を撮影する車室内カメラ１０１（図３参照）が設けられている。車室内カメラ１０１は、運転者の瞳孔の変化を検出できる程度に高性能なカメラで構成されている。

インストルメントパネル４は、フロントウィンドウガラス１の下側の境界を構成している。インストルメントパネル４には、メーターボックスやディスプレイ７が設けられている。

また、前記車両は、左右のフロントピラー１２よりも車幅方向外側に、サイドミラー６をそれぞれ有している。各サイドミラー６は、運転席に着座した運転手がサイドドアのウィンドウ越しに見ることが出来るように配置されている。

前記車両は、図２に示すように、車両前側の外部環境を撮影するためのカメラ１００が設けられている。カメラ１００は、車両の前側端部であって、車両のボンネット９よりもやや下側に配置されている。

（運転者状態推定装置の構成）
本実施形態１に係る車両は、運転者の視線移動に基づいて、該運転者の状態を推定する機能を有している。図３は、運転者状態推定装置２０の構成を示す。運転者状態推定装置２０は、実際に運転者状態を推定するための推定部５４を有するコントローラ５０を有する。このコントローラ５０は、周知のマイクロコンピュータをベースとするコントローラであって、プログラムを実行する中央演算処理装置（Central Processing Unit：ＣＰＵ）と、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）により構成されてプログラム及びデータを格納するメモリと、電気信号の入出力をする入出力バスと、を備えている。

コントローラ５０は、図３に示すように、各種のセンサと接続されている。センサは、例えば、車両前側の外部環境を撮影するカメラ１００と、運転者の顔面を撮影する車室内カメラ１０１と、ステアリングホイール８に設けられ、運転者の手の発汗状態を検知する発汗センサ１０２とを含む。

コントローラ５０は、車室内カメラ１０１により撮影された運転者の眼球から、運転者の視線方向を算出する視線算出部５１を有する。視線算出部５１は、例えば、運転者が車室内カメラ１０１のレンズを覗いた状態を基準にして、そこからの運転者の瞳孔の変化を検知することで運転者の視線方向を算出する。視線方向の算出は、運転者の左目及び右目のどちらか一方から算出してもよいし、運転者の両目のそれぞれから求めた視線方向（視線ベクトル）の平均値としてもよい。また、運転者の瞳孔の変化から運転者の視線方向を算出することが困難であるときには、運転者の顔面の向きを更に考慮して視線方向を算出してもよい。車室内カメラ１０１及びコントローラ５０は、視線検知装置の一例である。

コントローラ５０は、カメラ１００により撮影された画像Ｄ１に対して、フロントピラートリムを示す画像を合成する画像処理を行って、合成画像データＤ２を出力する画像処理部５２を有する。画像処理部５２により実行される画像処理については後述する。

コントローラ５０は、合成画像データＤ２に基づいて、車両前側の物標に対して、運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップＤ３を生成する誘目度算出部５３を有する。本実施形態１では、誘目度算出部５３は、誘目度としてサリエンシー（視覚的顕著性）を算出する。サリエンシーとは、色、輝度、動き等により刻々と変化する顕著性からなる視覚特徴量である。すなわち、サリエンシーが高いとは、顕著性が高いことを表し、サリエンシーが高い領域とは周囲に対して目立つ領域のことである。より具体的には、周囲の領域に対して色差や輝度差が大きかったり、周囲に対して動きが生じていたりする領域は、サリエンシーが高くなる。

コントローラ５０は、誘目度マップＤ３、視線算出部５１が算出した運転者の視線方向、発汗センサ１０２の検出結果、及び車室内カメラ１０１により撮影された運転者の瞳孔径の変化に基づいて、運転者の状態を推定する推定部５４を有する。詳しくは後述するが、推定部５４は、誘目度マップＤ３及び視線算出部５１の算出結果から、運転者が正常状態であるか異常状態であるかを推定する。推定部５４は、運転者が異常状態であると推定されるときに、発汗センサ１０２の検出結果及び車室内カメラ１０１により撮影された運転者の瞳孔径の変化等から、運転者の状態をより詳細に推定する。尚、運転者の異常状態とは、運転者に体調異常が発生している状態に限らず、運転者の漫然状態や、運転者の覚醒度が低下（眠気が増加）している状態を含む。

コントローラ５０は、推定部５４の推定結果に基づいて、車両に搭載された各種アクチュエータＡ、ディスプレイ７、ブザーＢ等を制御する。尚各種アクチュエータＡとは、エンジンシステム、ブレーキシステム、及びステアリングシステムを構成するアクチュエータを含む。

（画像処理部による画像処理）
次に、画像処理部５２による画像処理について説明する。画像処理部５２は、カメラ１００で撮影された車両前側の外部環境を示す画像Ｄ１に対して、車両の走行時に前記運転者の視界領域に入るフロントピラートリムを示す画像を合成して合成画像データＤ２を生成する処理を行う。また、画像処理部５２は、カメラ１００の撮影した画像Ｄ１に対して、画像Ｄ１を構成する素子のうち誘目度算出部５３での処理（サリエンシーの算出）に不要な画素を削除する処理を行う。

図４は、カメラ１００が撮影した車両前側の外部環境を示す画像Ｄ１である。この画像Ｄ１に示す外部環境には、車道１５０と、車道１５０上の白線１５１とが含まれている。また、この画像Ｄ１に示された外部環境には、他車両１６１と、車道１５０の右側に形成された壁１６２と、壁１６２よりも右側の領域に植えられた樹木１６３と、樹木１６３よりも右側の領域に広がる丘１６４と、車道１５０の左側に形成された森林１６５が含まれている。また、この画像Ｄ１に示された外部環境には、建物１６６と、建物１６６及び森林１６５の上側に広がる空１６７が含まれている。尚、以下の説明において、画像Ｄ１の空１６７は曇り空であり、ほぼ白色であると仮定する。

本実施形態１において、画像処理部５２は、画像Ｄ１に対して、車両の走行時に運転者の視界領域に入るフロントピラートリム２を示す画像を合成する。実際には、画像処理部５２は、フロントピラートリム２以外に、運転席に着座した運転者が車両前側を見たときに該運転者の視界領域に入る車両構成部材を示す画像についても合成する。具体的には、図５Ａや図５Ｂに示すように、画像処理部５２は、運転席に着座した運転者が車両前側を見たときの、左側（運転席側）のフロントピラートリム２と、ルーフトリム３の左側の部分と、インストルメントパネル４の左側の部分と、左側のサイドミラー６と、ステアリングホイール８と、ボンネット９の一部とを示す画像を画像Ｄ１に合成する。この合成用の画像は、例えば、運転席側から予め撮影しておき、撮影したデータをレイヤとしてコントローラ５０のメモリに保存させておくことができる。そして、画像Ｄ１に合成用の画像を合成するときには、画像処理部５２がメモリから当該画像を読み込んで、当該画像をレイヤとして画像Ｄ１に重ねるようにすればよい。

図５Ａや図５Ｂに示すように、合成画像では、画像Ｄ１の一部が車両構成部材により遮られた状態になる。画像処理部５２は、この合成画像を示す合成画像データＤ２を誘目度算出部５３に出力する。

（誘目度マップの生成）
誘目度算出部５３は、合成画像データＤ２に対してサリエンシーを算出して、誘目度マップ（ここでは、サリエンシーマップ）を生成する。具体的には、誘目度算出部５３は、合成画像データＤ２のうち外部環境を表す部分、すなわち、画像処理部５２で合成した画像以外の部分についてサリエンシーを算出する。このとき、誘目度算出部５３は、画像処理部５２で合成した画像の部分（車両構成部材の部分）については、サリエンシー自体は算出しないものの、合成画像データＤ２のうち外部環境を表す部分のサリエンシーの算出には利用する。つまり、誘目度算出部５３は、車両の走行時に運転者の視界領域に入る車両構成部材を考慮して誘目度を算出する。

前述したように、サリエンシーは、物標の色、輝度、動き等により変化する。そこで、本実施形態１では、誘目度算出部５３は、色に基づくサリエンシー、輝度に基づくサリエンシー、動きに基づくサリエンシー等、特徴毎にサリエンシーを算出して、特徴毎の誘目度マップを生成した後に、それらを足し合わせることで最終的な誘目度マップＤ３を生成する。

例えば、色に基づくサリエンシーについては、誘目度算出部５３は、合成画像データＤ２における車両構成部材の近傍領域において、当該近傍領域と車両構成部材との色差が大きいときには、該色差が小さいときと比較して、近傍領域のサリエンシーを高くする。尚、色差とは、ある画素の色のＲＧＢを（Ｒ１，Ｇ１，Ｂ１）とし、他の画素の色のＲＧＢを（Ｒ２，Ｇ２，Ｂ２）したときに、以下の式により算出される。
（色差）＝{（Ｒ２－Ｒ１）^２＋（Ｇ２－Ｇ１）^２＋（Ｂ２－Ｂ１）^２}^１／２
誘目度算出部５３は、色差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。

また、例えば、輝度に基づくサリエンシーについては、誘目度算出部５３は、合成画像データＤ２における車両構成部材の近傍領域において、当該近傍領域と車両構成部材との輝度差が大きいときには、該輝度差が小さいときと比較して、近傍領域のサリエンシーを高くする。例えば、誘目度算出部５３は、合成した車両構成部品が黒色であるときには、白色に近い部分ほど輝度差が大きくなるため、近傍領域のうち白色に近い部分のサリエンシーを高くする。誘目度算出部５３は、輝度差が大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。

特に、本実施形態１では、動きに基づくサリエンシーを算出する際に、フロントピラートリム２の長手方向の鉛直方向に対する鋭角側の角度α（以下、ピラー傾斜角度αという）が考慮される。具体的には、誘目度算出部５３は、ピラー傾斜角度αが大きいときには、該ピラー傾斜角度αが小さいときと比較して、フロントピラートリム２の近傍領域の誘目度を高くする。尚、本実施形態１では、ピラー傾斜角度αは、図５Ａ及び図５Ｂに示すように、フロントピラートリム２におけるフロントウィンドウガラス１との境界部分の傾斜角度としている。当該境界部分の延びる方向は、フロントピラートリム２の長手方向とほぼ一致しているので、特に問題とならない。

ピラー傾斜角度αが小さいときには、車両の前進時に、運転者の視界領域において物標の全体が略同時にフロントピラートリム２に遮られる。この場合には、物標に特に動きは生じない。

一方で、ピラー傾斜角度αが大きいときには、車両の前進時に、運転者の視界領域において物標が下側の部分から徐々にフロントピラートリム２に遮られる。これにより、運転者は物標が後側かつ下側に移動しているように錯覚してしまう。つまり、物標自体は動いていないが、運転者の視界には物標に動きがあるように見える。このため、フロントピラートリム２の近傍領域は、他の部分と比較して目立ちやすくなる。このことから、ピラー傾斜角度αが大きいときには、フロントピラートリム２に近傍領域の誘目度を高くする。

誘目度算出部５３は、ピラー傾斜角度αが大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて、ピラー傾斜角度αが各閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。特に、ピラー傾斜角度αが第１所定角度よりも大きいときに、ピラー傾斜角度αが該第１所定角度から大きくなるほどサリエンシーが高くなるように算出してもよい。

尚、前述したように、合成用の画像は予め運転席から撮影したものを用いることができる。このため、ピラー傾斜角度αは、合成用の画像から予め算出された値をメモリに保存しておいてもよい。

サリエンシーの算出自体は、インターネット上等で公開されている既知のコンピュータプログラムを用いることができる。また、特徴毎の誘目度マップ（ここではサリエンシーマップ）の算出及び各誘目度マップの統合についても既知のコンピュータプログラムを用いることができる。

図６Ａは、ピラー傾斜角度αが小さい場合の、サリエンシーの分布を示す誘目度マップＤ３である。図６Ａに示すように、空１６６におけるルーフトリム３と森林１６４とで仕切られた部分が、特にサリエンシーの高い部分となっている。これは、ピラー傾斜角度αが小さい場合には、色差及び輝度差がサリエンシーに大きく影響するためである。つまり、空１６６におけるルーフトリム３と森林１６４とで仕切られた部分は、ルーフトリム３及び森林１６４との色差及び輝度差が大きくなるため、サリエンシーが高くなる。

一方で、図６Ｂは、ピラー傾斜角度αが大きい場合の、サリエンシーの分布を示す誘目度マップＤ３である。図６Ｂに示すように、空１６６におけるルーフトリム３と森林１６４とで仕切られた部分に加えて、フロントピラートリム２の近傍部分がサリエンシーの高い部分となっている。これは、ピラー傾斜角度αが大きい場合には、フロントピラートリム２の近傍部分、特に境界部分には、色差及び輝度差に加えて、動きがサリエンシーを高める要素として加えられるためである。

このように、本実施形態１のように、ピラー傾斜角度αを考慮してサリエンシーを算出することで、車両の走行時に、運転者が視線を惹きつけられやすい領域を精度良く算出することができる。

（視線頻度の算出）
次に視線頻度の算出について図７～図９を参照しながら説明する。尚、本実施形態では、視線頻度の算出は推定部５４が行う。

図７は、運転者の注視点、すなわち、運転者の視線の先にある点のサリエンシーをプロットしたものである。このグラフは、視線算出部５１により運転者の視線方向を割り出して、該視線方向の先にある注視点を誘目度マップＤ３に当てはめて、該誘目度マップＤ３から当該注視点のサリエンシーを求めることで生成される。この各点は所定のサンプリング周期毎に求められる。

一方で、図８は、誘目度算出部５３により生成された誘目度マップＤ３からランダムに座標を指定して、該座標のサリエンシーを求めることで生成される。この各点は所定のサンプリング周期毎に求められる。

図７及び図８のグラフをそれぞれ作成した後は、ランダム点における閾値を超える割合と運転者の注視点における閾値を超える割合とのＲＯＣ（Receiver Operating Characteristic）曲線を求める。具体的には、まず、第１ステップとして、閾値を図７及び図８のグラフにおいて最大値よりも大きい値に設定する。次に、第２ステップとして、閾値を低下させながら、閾値毎に該閾値を超えた点の割合を求める。そして、この第２ステップの処理を閾値が、図７及び図８のグラフにおいて最小値以下になるまで繰り返す。

図７及び図８に示すグラフは、所定の計測周期毎に区切って生成される。計測周期は任意に定めることができ、例えば、５秒に設定することができる。

前記第１及び第２ステップの後、第３ステップとして、ランダム点における閾値を超える割合（第１確率という）を横軸にとりかつ運転者の注視点における閾値を超える割合（第２確率という）を縦軸にとって、図９のようなグラフを作成する。図９のグラフは、同一の閾値におけるランダム確率に対する注視確率を表す。図９のグラフは、横軸及び縦軸ともに確率であるため、曲線の最小値は０であり、最大値は１である。

図９において破線は、運転者の視線が視界全体に偏りなく向いていることを表す。すなわち、運転者の視線が視角領域全体に亘っているのであれば、第１確率と第２確率とは大きくずれることはない。このため、運転者の視線が視角領域全体に亘っているのであれば、第１確率と第２確率とを比較したときには、図９に破線で示すような直線形状になる。これに対して、図９の曲線Ｃ１のように、曲線が上側に凸に広がる場合は、運転者の注視点は閾値を超える割合が高いことを表す。すなわち、図９の曲線Ｃ１のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの高い箇所を見る傾向にあることを意味している。一方で、図９の曲線Ｃ２のように、曲線が下側に凸に広がる場合は、運転者の注視点は閾値を超える割合が低いことを表す。すなわち、図９の曲線Ｃ２のような形状の曲線が算出されたときは、運転者の視線がサリエンシーの低い箇所を見る傾向にあることを意味している。

本実施形態では、第４ステップとして、ＡＵＣ（Area Under Curve）を求める。ＡＵＣは、この曲線の右下部分の積分値（つまり、曲線と図９の２点鎖線とで囲まれた部分の面積）である。本実施形態では、この積分値を視線頻度としている。このように、運転者が注視した箇所のサリエンシーと、誘目度マップＤ３からランダムに指定した座標のサリエンシーとを比較して視線頻度を算出することで、視線頻度の算出精度を向上させることができる。すなわち、誘目度マップＤ３においてサリエンシーが高い領域がマップ全体に広がっていた場合、運転者がどの位置を注視したとしてもサリエンシーの高い箇所を見ることになる。この場合、単純に閾値以上のサリエンシーを見た割合を算出するだけでは、たとえ運転者が視界領域全体を偏りなく見ていたとしても、視線頻度が高いと算出されてしまう。これに対して、本実施形態のように、ランダム点との比較を行うようにすれば、サリエンシーが高い領域がマップ全体に広がっていたとしても、運転者の視界領域全体をランダムに見た場合と同じ傾向にあるか比較できる。したがって、運転者の視線方向に偏りがあるか否かをより正確に判断することができる。

（運転者状態の推定）
次に、推定部５４により運転者状態を推定する処理動作を図１０のフローチャートに基づいて説明する。

まず、ステップＳ１０１において、推定部５４は、各種データを取得する。特に、推定部５４は、視線算出部５１の算出結果、誘目度算出部５３により生成された誘目度マップＤ３、車室内カメラ１０１で取得された運転者の顔面の画像データ、及び発汗センサ１０２の検知結果を取得する。

次のステップＳ１０２において、推定部５４は、視線頻度を算出する。推定部５４は、前述したような計算方法により視線頻度を算出する。

続くステップＳ１０３において、推定部５４は、運転者の注意力が低下しているか否かを推定する。具体的には、推定部５４は、前記ステップＳ１０２で算出した視線頻度が所定頻度以上であるときには運転者の注意力が低下していると推定する。推定部５４は、視線頻度が所定頻度以上であって、運転者の注意力が低下していると推定されるＹＥＳのときには、ステップＳ１０４に進む。一方で、推定部５４は、視線頻度が所定頻度未満であって、運転者の注意力が低下していないと推定されるＮＯのときには、ステップＳ１０６に進む。

前記ステップＳ１０４では、推定部５４は、運転者が、交感神経が優位な状態であるか否かを推定する。具体的には、推定部５４は、発汗センサ１０２により検知される単位時間あたりの発汗量が所定量以上であるときには、交感神経が優位な状態であると推定する。一方で、推定部５４は、発汗センサ１０２により検知される単位時間あたりの発汗量が所定量未満であるときには、副交感神経が優位な状態であると推定する。推定部５４は、発汗センサ１０２の検知結果が所定量以上であって、交感神経が優位であると推定されるＹＥＳのときには、ステップＳ１０５に進む。一方で、推定部５４は、発汗センサ１０２の検知結果が所定量未満であって、副交感神経が優位であると推定されるＹＥＳのときには、ステップＳ１０７に進む。

前記ステップＳ１０５では、推定部５４は、運転者が、能動的に運転している状態であるか否かを推定する。具体的には、推定部５４は、車室内カメラ１０１により撮影された運転者の瞳孔径の変化から推定する。より詳しくは、推定部５４は、運転者の視線移動の前後で瞳孔径にほとんど変化がなかった場合には、運転者は能動的に運転していると推定する。一方で、推定部５４は、運転者の視線移動の前後で瞳孔径が変化している場合には、運転者は受動的に運転していると推定する。これは、運転者が受動的に運転をしているときには、目に刺激を受けてから視線を移動させるためである。推定部５４は、運転者が能動的に運転していると推定されるＹＥＳのときには、ステップＳ１０９に進む。一方、推定部５４は、運転者が受動的に運転していると推定されるＮＯのときには、ステップＳ１０８に進む。尚、運転者の左目の視線と右目の視線との交差角である輻輳角を算出して、該輻輳角に基づいて運転者が能動的に運転しているか否かを推定するようにしてもよい。

前記ステップＳ１０６では、推定部５４は、運転者は正常な状態であると推定する。すなわち、運転者に何らかの異常がある場合には、運転者の注意力が低下する。よって、運転者に注意力の低下が見られない場合には、運転者は正常な状態であると推定する一方、運転者に注意力の低下が見られる場合には、運転者に異常が生じていると推定することができる。ステップＳ１０６の後は、リターンする。

前記ステップＳ１０７では、推定部５４は、運転者の覚醒度が低下（眠気が増加）している状態であると推定する。一般に、副交感神経が優位な状態は、睡眠時に交感神経に対して優位になる。このため、注意力が低下しかつ副交感神経が優位な状態とは、運転者の覚醒度が低下している状態であると推定することができる。ステップＳ１０７の後はリターンする。

前記ステップＳ１０８では、推定部５４は、運転者が漫然状態であると推定する。すなわち、運転者が覚醒状態でありながら受動的に運転していることから、運転者は運転以外のことを考えながら運転している漫然状態であると推定することができる。ステップＳ１０８の後はリターンする。

前記ステップＳ１０９では、推定部５４は、運転者に体調異常が生じていると推定する。すなわち、運転者は、体調に異常が生じていたとしても正常な運転を続けようとする。このため、正常な運転を運転者が覚醒状態であって、能動的に運転しているにも拘わらず、注意力が低下している状態であれば、運転者の体調に何らかの異常が生じていると推定することができる。ステップＳ１０９の後はリターンする。

以上のようにして、推定部５４により運転者の状態が推定される。コントローラ５０は、運転者の覚醒度が低下していたり（ステップＳ１０７）、運転者が漫然状態であったり（ステップＳ１０８）と推定されたときには、例えば、ブザーＢを鳴らしたり、ディスプレイ７に表示したりする。これにより、コントローラ５０は、運転者の覚醒を促したり、運転に集中するように促したりする。また、コントローラ５０は、推定部５４により運転者に体調異常が生じていると推定されたときには、例えば、各種アクチュエータＡに制御信号を出力して、車両を路肩等の安全な領域まで走行させるとともに、該安全な領域に車両を停止させる。

したがって、本実施形態１では、運転者の視線方向を検知する視線検知装置（車室内カメラ１０１及び視線算出部５１）と、車両に搭載され、車両前側の外部環境を撮影するカメラ１００と、カメラ１００により撮影された画像Ｄ１に対して、車両の走行時に運転者の視界領域に入るフロントピラートリム２を示す画像を合成して、合成画像データＤ２を出力する画像処理部５２と、合成画像データＤ２に基づいて、車両前側の物標に対して、運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップＤ３を生成する誘目度算出部５３と、前記視線検知装置が検知した運転者の視線方向及び誘目度マップＤ３に基づいて、運転者の状態を推定する推定部５４とを備え、誘目度算出部５３は、フロントピラートリム２の近傍領域の誘目度を算出するときには、合成画像データＤ２における当該フロントピラートリム２の鉛直方向に対する傾斜角度（ピラー傾斜角度α）を考慮して誘目度を算出する。

特に、本実施形態１において、誘目度算出部５３は、フロントピラートリム２のピラー傾斜角度αが大きいときには、ピラー傾斜角度αが小さいときと比較して、誘目度を高くする。

すなわち、ピラー傾斜角度αが小さい場合、フロントピラートリム２の近傍に位置する物標は、車両が前進したときには、その全体が略同時にフロントピラートリム２によって遮られる。一方で、ピラー傾斜角度αが大きい場合、フロントピラートリム２の近傍領域に視認される物標は、車両が前進したときには、下側の部分から徐々にフロントピラートリム２によって遮られる。これにより、ピラー傾斜角度αが大きい場合、物標が後側かつ下側に移動しているように錯覚される。このため、ピラー傾斜角度αが大きい場合、フロントピラートリム２の近傍領域に視認される物標は運転者の視線を惹きつけやすくなる。したがって、ピラー傾斜角度αを考慮して誘目度を算出することで、運転者の視界領域における誘目度の算出精度が向上する。よって、運転者の視線移動に基づいて運転者の状態を推定する場合に、車両走行時における運転者の状態を推定する精度を向上させることができる。

また、本実施形態において、推定部５４は、前記視線検知装置により検知される運転者の視線が、誘目度が所定値以上の領域に向いた頻度である視線頻度が所定頻度以上であるときに、運転者に異常が生じていると推定する。すなわち、運転者は、正常な状態であれば、車両走行時には駐車車両、歩行者、脇道等の注視すべき視認対象物を見ながら運転する。しかしながら、運転者が漫然状態であったり、運転者に体調異常が発生して能動的な運転が出来なくなったりしたときには、運転者は、誘目度が高い領域に自然と視線を向けるようになる。つまり、運転者が誘目度の高い領域を見る頻度が高いときには、運転者に異常が生じている可能性が高い。このため、運転者の視線頻度により運転者の状態を推定するようにすれば、車両走行時における運転者の状態を推定する精度をより一層向上させることができる。

〈実施形態２〉
以下、実施形態２について、図面を参照しながら詳細に説明する。尚、以下の説明において前記実施形態１と共通の部分については、同じ符号を付して、その詳細な説明を省略する。

本実施形態２では、誘目度算出部５３によるサリエンシーの算出方法が前記実施形態１とは異なる。具体的には、本実施形態２において、誘目度算出部５３は、合成画像データＤ２において近傍領域に位置する物標の長手方向とフロントピラートリム２の長手方向とのなす角度β（以下、相対角度βという）が大きいときには、相対角度βが小さいときと比較して、サリエンシーを高くする。すなわち、物標の長手方向がフロントピラートリム２の長手方向と略平行であれば、車両が前進したときには、当該物標の全体が略同時にフロントピラートリム２によって遮られる。つまり、相対角度βが小さければ、物標が動いているように錯覚されにくいため、運転者の視線を惹きつけにくくなる。したがって、相対角度βが小さければサリエンシーは低くなる。よって、物標の長手方向まで考慮することにより、運転者の視界領域におけるサリエンシーを一層精度良く算出することができる。

具体的に、誘目度算出部５３は、図１１に示すように、まず合成画像データＤ２から物標の長手方向を算出する。次に、誘目度算出部５３は、物標の長手方向とフロントピラートリム２の長手方向とのなす相対角度βを算出する。そして、誘目度算出部５３は、該相対角度βに応じてサリエンシーを算出する。尚、本実施形態２でも、前記実施形態１と同様に、フロントピラートリム２の長手方向として、フロントピラートリム２におけるフロントウィンドウガラス１との境界部分が延びる方向を採用している。

誘目度算出部５３は、相対角度βが大きいほどサリエンシーを連続的に高くするように算出してもよいし、複数の閾値を設けて、相対角度βが各閾値を超える毎にサリエンシーが一定値高くなるように算出してもよい。特に、相対角度βが第２所定角度よりも大きいときに、相対角度βが該第２所定角度から大きくなるほどサリエンシーが高くなるように算出してもよい。

このように、物標とフロントピラートリム２との相対角度βを考慮することにより、運転者の視界領域における誘目度（ここではサリエンシー）を一層精度良く算出することができる。この結果、車両走行時における運転者の状態を推定する精度を一層向上させることができる。

尚、誘目度算出部５３は、物標の長手方向を算出した後、物標の長手方向の鉛直方向に対する傾斜角度（以下、物標傾斜角度という）を算出するようにしてもよい。この場合、誘目度算出部５３は、物標がフロントピラートリム２側に傾いているときには、ピラー傾斜角度αと物標傾斜角度との差を計算する一方、物標がフロントピラートリム２とは反対側に傾いているときには、ピラー傾斜角度αと物標傾斜角度との和を計算する。そして、誘目度算出部５３は、該計算値を物標の長手方向とフロントピラートリム２の長手方向とのなす相対角度βとして、サリエンシーを算出する。

〈その他の実施形態〉
ここに開示された技術は、前述の実施形態に限られるものではなく、請求の範囲の主旨を逸脱しない範囲で代用が可能である。

例えば、前述の実施形態１及び２では、誘目度算出部５３は、ピラー傾斜角度α及びフロントピラートリム２と物標との相対角度βを考慮して、誘目度を算出していた。これに加えて、誘目度算出部５３は、車速を更に考慮するようにしてもよい。すなわち、ピラー傾斜角度αや相対角度βが大きい場合において、運転者の視界領域における物標の動く速さは車速によって変化するため、車速によっても誘目度が変化する。このため、誘目度算出部５３は、例えば、ピラー傾斜角度αや相対角度βが大きい場合において、車速が高いほど誘目度を高くするようにしてもよい。

また、前述の実施形態１及び２では、フロントピラートリム２の長手方向として、フロントピラートリム２におけるフロントウィンドウガラス２との境界部分が延びる方向を採用した。これに限らず、フロントピラートリム２の車幅方向の中間部分が延びる方向をフロントピラートリム２の長手方向としてもよい。

また、前述の実施形態１及び２では、誘目度を算出する際に考慮する車両構成部材として、左側（運転席側）のフロントピラートリム２と、ルーフトリム３の左側の部分と、インストルメントパネル４の左側の部分と、左側のサイドミラー６と、ステアリングホイール８と、ボンネット９の一部とを採用した。これに限らず、少なくとも、フロントウィンドウガラス１の周縁に位置する、左側（運転席側）のフロントピラートリム２を考慮すればよい。

また、前述の実施形態１及び２では、視線頻度の算出を推定部５４が行っていたが、これに限らず、視線頻度を計算するためのプロセッサを推定部５４とは別に設けてもよい。

前述の実施形態は単なる例示に過ぎず、本開示の範囲を限定的に解釈してはならない。本開示の範囲は請求の範囲によって定義され、請求の範囲の均等範囲に属する変形や変更は、全て本開示の範囲内のものである。

ここに開示された技術は、車両の運転者の視線移動に基づいて、運転者の状態を推定する運転者状態推定装置として有用である。

２ フロントピラートリム
２０ 運転者状態推定装置
５０ コントローラ
５１ 視線算出部（視線検知装置）
５２ 画像処理部
５３ 誘目度算出部
５４ 推定部
１００ カメラ
１０１ 車室内カメラ（視線検知装置）
Ｄ１ 画像
Ｄ２ 合成画像データ
Ｄ３ 誘目度マップ
α ピラー傾斜角度（フロントピラートリムの鉛直方向に対する傾斜角度）
β 相対角度（物標の長手方向とフロントピラートリムの長手方向とのなす角度）

Claims (5)

1. 車両の運転者の視線移動に基づいて、該運転者の状態を推定する運転者状態推定装置であって、
   前記運転者の視線方向を検知する視線検知装置と、
   前記車両に搭載され、車両前側の外部環境を撮影するカメラと、
   前記カメラにより撮影された画像に対して、前記車両の走行時に前記運転者の視界領域に入るフロントピラートリムを示す画像を合成して、合成画像データを出力する画像処理部と、
   前記合成画像データに基づいて、車両前側の物標に対して、前記運転者の視線の惹きつけやすさを示す誘目度を算出して、誘目度マップを生成する誘目度算出部と、
   前記視線検知装置が検知した前記運転者の視線方向及び前記誘目度マップに基づいて、前記運転者の状態を推定する推定部とを備え、
   前記誘目度算出部は、前記フロントピラートリムの近傍領域の誘目度を算出するときには、前記合成画像データにおける当該フロントピラートリムの鉛直方向に対する傾斜角度を考慮して誘目度を算出することを特徴とする運転者状態推定装置。
2. 請求項１に記載の運転者状態推定装置において、
   前記誘目度算出部は、前記フロントピラートリムの前記傾斜角度が大きいときには、前記傾斜角度が小さいときと比較して、誘目度を高くすることを特徴とする運転者状態推定装置。
3. 請求項１に記載の運転者状態推定装置において、
   前記誘目度算出部は、前記合成画像データにおいて前記近傍領域に位置する物標の長手方向と前記フロントピラートリムの長手方向とのなす角度が大きいときには、前記角度が小さいときと比較して、誘目度を高くすることを特徴とする運転者状態推定装置。
4. 請求項１～３のいずれか１つに記載の運転者状態推定装置において、
   前記推定部は、前記視線検知装置により検知される前記運転者の視線が、誘目度が所定値以上の領域に向いた頻度である視線頻度に基づいて、前記運転者の状態を推定することを特徴とする運転者状態推定装置。
5. 請求項４に記載の運転者状態推定装置において、
   前記推定部は、前記視線頻度が所定頻度以上であるときに、前記運転者に異常が生じていると推定することを特徴とする運転者状態推定装置。

Images