JP4725254B2

JP4725254B2 - 脇見判定装置

Info

Publication number: JP4725254B2
Application number: JP2005256368A
Authority: JP
Inventors: 彰服部; 亨裕宮下
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2005-09-05
Filing date: 2005-09-05
Publication date: 2011-07-13
Anticipated expiration: 2025-09-05
Also published as: JP2007072570A

Description

本発明は、車両を運転しているドライバの脇見を判定する脇見判定装置に関する。

衝突防止装置では、衝突を未然に防止するために、前方車両を検出し、自車両と前方車両との関係により衝突する可能性が高いと判断した場合にはドライバに対して警報などを行う。さらに、その警報をより適切なタイミングで行うために、衝突防止装置では、ドライバの脇見を検出し、ドライバの脇見を検出した場合には通常より早いタイミングで警報を行う（特許文献１参照）。特許文献１に記載のシステムでは、ドライバの顔画像からドライバの視線方向を検出し、その視線方向が真正面から所定角度以内に存在するか否かで脇見を検出している。
特開２００４−１４５７２５号公報

ドライバが脇見をしている状況は様々である。そのため、ドライバが正面を向くまでの時間は一律ではない。しかし、上記システムの場合、視線方向を所定角度か否かで判断しているため、警報を行うタイミングが一律となっている。そのため、効果的な警報が行われなくなるという問題が発生する。

そこで、本発明は、ドライバの状況に応じて脇見状態を高精度に判定する脇見判定装置を提供することを課題とする。

本発明に係る脇見判定装置は、ドライバの脇見を判定する脇見判定装置であって、ドライバの顔向き角度及び／又は視線方向を検出する向き検出手段と、向き検出手段で検出した顔向き角度及び／又は視線方向に基づいてドライバが非正面状態か否かを判定する非正面状態判定手段と、非正面状態係数関数により非正面状態判定手段で非正面状態と判定している継続時間に応じて非正面状態係数を演算する非正面状態係数演算手段とを備え、非正面状態係数は、ドライバの脇見している状態を表す係数であり、ドライバの非正面状態の継続時間が長くなるのに応じて増加する係数であり、非正面状態係数関数は、ドライバの非正面状態の継続時間を変数として非正面状態係数を求めるための関数であり、ドライバの非正面状態の継続時間に応じて増加度合いが増大する二次関数であり、ドライバの個人特性又は／及び車両前方での環境変化に応じて設定される係数を含む関数であることを特徴とする。

この脇見判定装置では、向き検出手段によりドライバの顔向き角度及び／又は視線方向を検出し、非正面状態判定手段により顔向き角度及び／又は視線方向に基づいてドライバが非正面状態か否かを判定する。正面状態はドライバが顔を振らずに正面の対象物を認識できる状態であり、非正面状態はドライバが顔を振らないと正面の対象物を認識できない状態である。ドライバが非正面状態であるときが、ドライバが脇見している。脇見判定装置では、非正面状態係数演算手段により非正面状態係数関数により非正面状態と判定している継続時間に応じて非正面状態係数を演算する。非正面状態係数は、ドライバの非正面状態の継続時間（ドライバが脇見している状況）を考慮した値であり、脇見している状態を表す係数である。非正面状態の継続時間が長いほど、顔を大きく振る対象物を視認するための脇見や車両前方での環境変化（走行道路、交通流、対象物状態など）が発生している可能が高く、非正面状態の継続時間が短いほど、顔を小さく振る対象物を視認するための脇見や車両前方での環境変化が発生している可能が低い。したがって、この非正面状態係数により、ドライバが脇見している状態が判るので、警報や自動制動のタイミングをどの程度早くする必要があるかあるいは警報や自動制動などを行う必要があるかを判定できる。このように、脇見判定装置では、非正面状態の継続時間を考慮した非正面状態係数を求めることにより、ドライバの脇見している状況に応じて脇見している状態を高精度に判定することができる。そのため、ドライバが脇見している向きの大きさや車両前方での環境変化などの様々な状況に応じて、脇見時の警報や自動制動のタイミングなどを適切に変えることができるとともに、不必要な警報や自動制動などを抑制することができる。

本発明の上記脇見判定装置では、非正面状態係数関数は、非正面状態判定手段で非正面状態と判定している継続時間に応じて増加の度合いが一定又は増大する増加関数である。

この脇見判定装置では、非正面状態係数関数が非正面状態の継続時間に応じて増加の度合いが一定又は増大する増加関数であるので、非正面状態の継続時間が長いほど非正面状態係数が大きな値になる。したがって、非正面状態係数が大きな値ほど、脇見時の警報や自動制動のタイミングなどを早くする。

本発明の上記脇見判定装置では、非正面状態係数関数は、向き検出手段で検出した顔向き角度及び／又は視線方向に応じて増加の度合いが異なる増加関数である。

この脇見判定装置では、非正面状態係数関数が顔向き角度及び又は視線方向により増加関数の増加の度合いが異なる関数であるので、ドライバが脇見している向きの大きさに応じて非正面状態の継続時間に対する非正面状態係数の増加傾向が変わる。したがって、ドライバが脇見しているときの顔向き角度や視線方向が大きいほど、脇見状態から正面を向き、対象物を認識するまでの時間を要するので、非正面状態係数関数の増加関数の増加の度合いを大きくするとよい。これによって、脇見時の警報や自動制動のタイミングなどを早くすることができる。

本発明の上記脇見判定装置では、非正面状態係数関数は、非正面状態判定手段で非正面状態と判定した判定開始時から一定時間、非正面状態係数を０とする関数である。

この脇見判定装置では、非正面状態係数関数が非正面状態と判定されたときから一定時間、非正面状態係数を０とする関数であるので、その一定時間未満の間だけ非正面状態になった場合でもドライバが脇見している状態と判定しない。したがって、ドライバが直ぐに正面を向くような瞬間的に脇見をした場合でも、警報や自動制動のタイミングなどが変わらないので、不必要な警報や自動制動を抑制することができる。

本発明の上記脇見判定装置では、非正面状態係数演算手段で演算した非正面状態係数に応じて警報を行うタイミングを変更する構成としてもよい。

この脇見判定装置では、非正面状態係数により警報を行うタイミングを変更するので、ドライバの脇見している状況に応じて最適なタイミングで警報を出力することができる。したがって、非正面状態の継続時間が長い場合（顔を大きく振る対象物を視認している場合、車両前方での環境変化が発生している場合など）に、警報を出力するタイミングを早めることができ、そのタイミングの警報に反応してドライバが正面を向き、衝突回避などの操作を行うまでの時間を十分に確保することができる。

本発明の上記脇見判定装置では、非正面状態係数演算手段で演算した非正面状態係数に応じて自動制動を行うタイミングを変更する構成としてもよい。

この脇見判定装置では、非正面状態係数により自動制動を行うタイミングを変更するので、ドライバの脇見している状況に応じて最適なタイミングで自動制動を行うことができる。したがって、非正面状態の継続時間が長い場合に、車両に自動で制動力を作用させるタイミングを早めることができ、そのタイミングの制動力により衝突回避などに十分に間に合う。

本発明によれば、ドライバの状況に応じて脇見している状態を高精度に判定することができる。

以下、図面を参照して、本発明に係る脇見判定装置の実施の形態を説明する。

本実施の形態では、本発明に係る脇見判定装置を、衝突の可能性が高いときにドライバに対して警報を行う衝突防止支援警報システムに適用する。本発明に係る衝突防止支援警報システムは、ドライバの顔向き角度に基づいて脇見判定を行い、ドライバの脇見している状況に応じて警報を行うタイミングを変える。なお、脇見は運転中の車両進行方向の道路状況、交通流や前方車両以外の対象物などに注視点を移動させることであるが、本実施の形態では、ドライバの顔向き角度により判定する正面状態と非正面状態との区別により脇見を判定する。

なお、正面方向は、車幅方向の中心点を車両前後方向に延ばした線に並行な線を正面方向とすることを基本とする。さらに、車両進行方向、操舵方向、ヨーレート、道路形状などに基づく車両が進むであろう方向を正面方向とし、そこから所定角度ずれた角度を非正面としてもよい。例えば、車両が直線道路を走行しているときには、車両前後方向に並行な線を中心に正面、非正面を設定する。一方、車両がコーナを旋回走行しているときには、コーナ旋回での車両進行方向、操舵角、ヨーレートに基づいて正面を設定し、そこから所定角度ずれた角度を非正面と設定してもよい。

図１〜図７を参照して、衝突防止支援警報システム１について説明する。図１は、本実施の形態に係る衝突防止支援警報システムの構成図である。図２は、図１のＥＣＵの衝突判定機能における内部処理を示すブロック図である。図３は、人の有効視野角度を示す図である。図４は、人の眼球の網膜位置と視力との関係を示す図である。図５は、ドライバの視認対象物に対する顔向き角度（水平方向の角度）の一例であり、（ａ）がナビ視認時顔向き角度であり、（ｂ）が左サイドミラー視認時顔向き角度である。図６は、ドライバの顔向き角度に応じた非正面状態係数関数の一例である。図７は、警報マップの一例であり、（ａ）が基準の警報マップであり、（ｂ）が警報タイミングシフト量分シフトした警報マップである。

衝突防止支援警報システム１では、ドライバの顔向き角度を検出し、顔向き角度によって非正面状態か否かを判定する。そして、衝突防止支援警報システム１では、顔向き角度に応じて非正面状態係数関数を設定し、非正面状態係数関数により非正面状態の継続時間に応じて非正面状態係数を求める。さらに、衝突防止支援警報システム１では、非正面状態係数に応じて警報マップをシフトし、警報を行うタイミングを変える。そのために、衝突防止支援警報システム１は、前方カメラ２、前方ミリ波センサ３、ドライバ監視カメラ４、車速センサ５、操舵角センサ６、ヨーレートセンサ７、ブザー８及びＥＣＵ[Electronic Control Unit]９を備え、ＥＣＵ９が前方認識機能９ａ、顔角度認識機能９ｂ、衝突判定機能９ｃを有している。

なお、本実施の形態では、ドライバ監視カメラ４及び顔角度認識機能９ｂが特許請求の範囲に記載する向き検出手段に相当し、衝突判定機能９ｃにおける非正面状態判定処理が特許請求の範囲に記載する非正面状態判定手段に相当し、衝突判定機能９ｃにおける非正面状態係数演算処理が特許請求の範囲に記載する非正面状態係数演算手段に相当する。

前方カメラ２は、ステレオカメラであり、２台のＣＣＤ[Charge CoupledDevice]カメラからなる。この２台のＣＣＤカメラは、水平方向に所定間隔離間されて配置され、自車両の前側の中央に取り付けられる。前方カメラ２では、２つのＣＣＤカメラで撮像した左右のステレオ画像のデータを各前方画像信号としてＥＣＵ９に送信する。前方ミリ波センサ３は、ミリ波を利用して物体を検出するレーダセンサである。前方ミリ波センサ３は、自車両の前側の中央に取り付けられる。前方ミリ波センサ３では、ミリ波を水平面内でスキャンしながら自車両から前方に向けて送信し、反射してきたミリ波を受信する。そして、前方ミリ波センサ３では、そのミリ波の送受信データをミリ波信号としてＥＣＵ９に送信する。

ドライバ監視カメラ４は、１台のＣＣＤカメラからなり、自車両の車室内にドライバを正面方向から撮像する位置に取り付けられる。ドライバ監視カメラ４では、ドライバの顔周辺を撮像し、その撮像画像データを監視画像信号としてＥＣＵ９に送信する。

車速センサ５は、自車両の速度を検出するセンサであり、その検出値を車速信号としてＥＣＵ９に送信する。操舵角センサ６は、ステアリングの操舵角を検出するセンサであり、その検出値を操舵角信号としてＥＣＵ９に送信する。ヨーレートセンサ７は、自車両のヨーレート（回転角速度）を検出するセンサであり、その検出値をヨーレート信号としてＥＣＵ９に送信する。

ブザー８は、ドライバに対して警報手段であり、ブザー音を出力する。ブザー８では、ＥＣＵ９から警報信号を受信すると、その警報信号に応じてブザー音を出力する。

ＥＣＵ９は、ＣＰＵ[Central Processing Unit]、ＲＯＭ[Read Only Memory]、ＲＡＭ[RandomAccessMemory]などからなる電子制御ユニットであり、衝突防止支援警報システム１を統括制御する。ＥＣＵ９では、カメラ２，４、センサ３，５，６，７から各画像信号や各検出信号を取り入れ、各画像データや各検出値を用いて前方認識機能９ａ、顔角度認識機能９ｂ、衝突判定機能９ｃを実行し、衝突の可能性の高いときにはブザー８から警報を出力させる。

前方認識機能９ａについて説明する。前方認識機能９ａでは、ミリ波の送受信データに基づいてミリ波が出射から受信までの時間に基づいて前方の物体までの距離を演算する。さらに、前方認識機能９ａでは、その演算で求めた距離から前方の物体との相対速度を演算する。また、前方認識機能９ａでは、反射してきたミリ波の中で最も強く反射してきたミリ波の方向を検出し、その方向から自車両の進行方向と車両の方向とのなす角度を求め、その角度から横位置を演算する。

また、前方認識機能９ａでは、左右のステレオ画像における車両の見え方のずれを利用して三角測量により前方の物体を特定し、前方カメラ２に対する前方物体の位置（距離、横位置、高さ位置）などを演算する。さらに、前方認識機能９ａでは、その演算で求めた距離から前方の物体との相対速度を演算する。

そして、前方認識機能９ａでは、ミリ波データから検出した前方の物体とステレオ画像から検出した前方の物体とを照合し、類似性の高い物体同士を統合して前方物体として認識し、その前方物体の情報を設定する。この認識された前方物体の情報としては、前方物体までの距離、前方物体の自車両中心に対する横位置、自車両との相対速度などである。この認識された物体は、車両以外の物体も含まれる。

顔角度認識機能９ｂについて説明する。顔角度認識機能９ｂでは、ドライバの監視画像からドライバの鼻の中心を検出する。そして、顔角度認識機能９ｂでは、ドライバの鼻の中心が正面中心からずれる度合いを求め、その度合いからドライバの顔が向いている角度（水平方向の角度）θ_ｉを演算する。このドライバの顔向き角度θ_ｉは、自車両の真正面方向を０°とし、右方向がプラス値、左方向がマイナス値で設定される。

衝突判定機能９ｃについて説明する。衝突判定機能９ｃでは、図２に示すように、前方車両判定処理、ＴＴＣ[Time To Collision]演算処理、非正面状態判定処理、非正面状態係数演算処理、警報マップシフト量演算処理、警報マップシフト処理、警報成立判定処理を行う。

衝突判定機能９ｃにおける前方車両判定処理について説明する。衝突判定機能９ｃでは、車速、操舵角、ヨーレートに基づいて自車両の走行路を推定する。そして、衝突判定機能９ｃでは、前方認識機能９ａで認識した物体の位置情報（距離、横位置など）に基づいてその推定した走行路の前方延長線上に前方認識機能９ａで認識した物体が存在するか否かを判定する。そして、衝突判定機能９ｃでは、推定した走行路の前方延長線上に認識した物体が存在すると判定した場合、その認識した物体を自車両の前方を走行している車両（自車両と同じ車線を走行している前方車両）と判定する。

衝突判定機能９ｃにおけるＴＴＣ演算処理について説明する。衝突判定機能９ｃでは、前方車両と判定した場合、その前方車両までの距離を前方車両との相対速度で除算し、その除算値をＴＴＣとする。ＴＴＣは、自車両が前方車両に到達するまでの時間を表しており、衝突の可能性を判定するためのパラメータである。

衝突判定機能９ｃにおける非正面状態判定処理について説明する。衝突判定機能９ｃでは、ドライバの顔向き角度θ_ｉが有効視野角度より大きいか否かを判定する。有効視野角度は、顔の向きを固定した状態で眼球運動のみで物体を注視し、その物体を認識できる角度範囲であり、顔を振らずに物体を認識できる角度範囲である。図３に示すように、有効視野角度ＶＡは、ドライバの真正面方向を中心にして左右両側に設定される。衝突判定機能９ｃでは、ドライバの顔向き角度θ_ｉが有効視野角度ＶＡ以内に入っている場合にはドライバが正面状態と判定し、ドライバの顔向き角度θ_ｉが有効視野角度ＶＡより大きい場合にはドライバが非正面状態と判定する。さらに、衝突判定機能９ｃでは、非正面状態と判定した場合、その非正面状態を判定したときからの継続時間（非正面状態継続時間Ｔ_ｉ）をカウントする。ＥＣＵ９では一定時間毎に各機能における処理を実行するので、連続して非正面状態と判定する毎にカウンタのカウント値をインクリメントすることにより、非正面状態継続時間Ｔ_ｉ（＝一定時間×カウンタのカウント値）をカウントすることができる。

衝突判定機能９ｃにおける非正面状態係数演算処理について説明する。衝突判定機能９ｃでは、ドライバの顔向き角度θ_ｉに応じて非正面状態係数関数を選択する。非正面状態係数関数は、非正面状態係数μ_ｉを求めるための関数であり、非正面状態継続時間Ｔ_ｉが大きくなるのに応じて増加する度合いが増大してゆく二次関数ａ（Ｔ_ｉ−Ｔ_ｓ）^２である。非正面状態係数関数で演算される非正面状態係数μ_ｉは、図６に示すように、０．０〜１．０までの値であり、警報マップのシフト量を決める係数である。非正面状態係数μ_ｉの値が大きいほど、警報マップのシフト量を大きくして、警報のタイミングを早める。Ｔ_ｓは、脇見開始時間であり、非正面状態と判定されたときから一定時間の間は非正面状態係数μ_ｉを０にするための値である。これは、必要な脇見時間として定義され、瞬間的な顔の動き（ドライバが意識的にちらっと対象物を見る時間）を脇見している状態と判定しないための時間（つまり、警報のタイミングを早める必要のない脇見状態）である。

ドライバは、脇見しているときに警報が出力されると、その警報に反応して顔向きを変えて正面の車両を認知する必要がある。そのため、ドライバは、顔向きを脇見状態から正面を向いて車両を有効視野角度ＶＡ内に入れ、その車両を視線中心で確保し、眼球の焦点調整(近距離→遠距離)を行うプロセスを行うことになる。図４に示すように、人の視力は眼球の網膜の位置が対象物の方向からずれていると低下するので、対象物を認識するためには対象物を視線中心で確保する必要がある。つまり、人は対象物の方向を向いていないと対象物を認識することができず、対象物から多少ずれると十分に対象物を認識することができない。したがって、脇見しているときには、正面視に戻るまで前方車両を十分認識できないので、ドライバの状況に応じて十分な戻り時間が必要となる。

非正面状態継続時間Ｔ_ｉが比較的大きい場合、車両前方の環境変化（走行道路（例えば、カーブ路）、交通流（例えば、渋滞）、対象物状態（例えば、工事、事故）など）が発生している可能性がある。つまり、脇見している時間が長いほど、前方の状況が変化している可能性が高い。そこで、二次関数によって非正面状態継続時間Ｔ_ｉが大きくなるほど非正面状態係数μ_ｉを大きくして、警報を行うタイミングを早める。一方、非正面状態継続時間Ｔ_ｉが比較的小さい場合（例えば、安全のために一時的に正面視から外れる場合）、車両前方の環境変化の可能性が低い。そこで、不必要な警報を発生させないように、二次関数によって非正面状態継続時間Ｔ_ｉが小さいうちは非正面状態係数μ_ｉを小さくして、警報を行うタイミングを早める量を小さくする。

また、非正面状態係数関数は、ドライバの顔向き角度θ_ｉに応じて係数ａの値が予め設定されている。図５（ａ）に示すようにドライバがナビゲーション画面を見ているときの顔向き角度θ１と図５（ｂ）に示すようにドライバが左サイドミラーを見ているときの顔向き角度θ２（＞θ１）とは、明らかにその角度が違う。したがって、警報に反応して脇見状態から正面視に戻るまでの時間が、ドライバが脇見している対象物によって異なる（ひいては、ドライバの顔向き角度θ_ｉによって異なる）。そのため、顔向き角度θ_ｉが大きいほど、非正面状態係数関数の係数ａの値を大きくして、警報のタイミングを早くする。そこで、実験によってドライバが運転中に見る対象物毎に顔向き角度範囲を予め測定し、その対象物毎の顔向き角度に応じて係数ａがそれぞれ設定される。ＥＣＵ９には、この対象物毎の顔向き角度範囲とその各角度範囲に対応した係数ａを保持している。

図６には、係数ａの値の異なる３つの非正面状態係数関数が示されており、ＦＳで示される関数が基準の係数ａが設定された二次関数であり、Ｆ１で示される関数が係数ａの値を小さく設定したナビゲーション画面視認時に対応する二次関数であり、Ｆ２で示される関数が係数ａの値を大きく設定した左サイドミラー視認時に対応する二次関数である。二次関数Ｆ１は、比較的緩やかに非正面状態係数μ_ｉが増加し、非正面状態継続時間Ｔ_ｅ１（＞Ｔ_ｅ）のときに値が１．０となる。二次関数Ｆ２は、比較的急に非正面状態係数μ_ｉが増加し、非正面状態継続時間Ｔ_ｅ２（＜Ｔｅ＜Ｔ_ｅ１）のときに値が１．０となる。なお、ドライバの視認対象物としては、ナビゲーション画面、左サイドミラー以外にも、右サイドミラーなど様々なものが対象となる。

したがって、衝突判定機能９ｃでは、ドライバの顔向き角度θ_ｉに応じて非正面状態係数関数を選択する場合、ドライバの顔向き角度θ_ｉが各対象物の顔向き角度範囲に入っているか否かを判定し、入っている角度範囲に対応する係数ａの値を二次関数ａ（Ｔ_ｉ−Ｔ_ｓ）^２に設定する。なお、ドライバの顔向き角度θ_ｉが各対象物の顔向き角度範囲のいずれにも入っていない場合、基準の係数ａの値を二次関数ａ（Ｔ_ｉ−Ｔ_ｓ）^２に設定する。衝突判定機能９ｃでは、非正面状態係数関数を設定すると、その非正面状態係数関数によりドライバの顔向き角度θ_ｉに応じた非正面状態係数μ_ｉを演算する。

なお、非正面状態係数関数ａ（Ｔ_ｉ−Ｔ_ｓ）^２の係数ａは、ドライバの個人特性（年齢、性別、運転熟練度、運転特性、動作反応）に応じて異なる値がそれぞれ設定されてもよい。例えば、年齢が高齢なほど（視力や動作反応が低下するので）、女性の場合、運転初心者の場合、係数ａを大きくして警報を出力するタイミングを早くするようにする。このようなドライバの個人特性は、ドライバが入力するようにしてもよいし、あるいは、ドライバを撮像した画像などからドライバの年齢や性別などを推定するようにしてもよい。

また、非正面状態係数関数ａ（Ｔ_ｉ−Ｔ_ｓ）^２の係数ａは、環境変化に応じて異なる値がそれぞれ設定されてもよい。例えば、渋滞が予想される場合には係数ａを大きくして警報を出力するタイミングを早くするようにし、渋滞が予想されない場合には係数ａを小さくする。

衝突判定機能９ｃにおける警報マップシフト量演算処理について説明する。衝突判定機能９ｃでは、シフト基本時間ＴＢに非正面状態係数μ_ｉに乗算し、その乗算値を警報タイミングシフト量ＳＴとする。シフト基本時間ＴＢは、警報マップをシフトする基本時間であり、シフト量の最大値である。警報タイミングシフト量ＳＴは、警報マップをシフトする時間であり、この値が大きくなるほど警報を行うタイミングが早くなる。この警報タイミングシフト量ＳＴは、係数ａが大きいほど（ドライバの顔向き角度θ_ｉが大きいほど）、また、非正面状態継続時間Ｔ_ｉが大きいほど、大きな値となる。

ここで、図７を参照して、警報マップについて説明する。警報マップは、実験などによって予め設定され、前方車両との相対速度とＴＴＣとの関係に応じて警報を行うか否か（すなわち、前方車両と衝突する可能性が高いか否か）を判定するための閾値である。図７（ａ）には、ＥＣＵ９に保持されている基準となる警報マップＭＳが示されており、相対速度が大きくなるのに従ってＴＴＣが大きくなる閾値となっている。実際の相対速度のときのＴＴＣが、この警報マップＭＳのその相対速度のときのＴＴＣより小さくなると、警報を行う（すなわち、衝突する可能性が高い）と判定される。したがって、基準の警報マップＭＳをＴＴＣが大きくなるほうにシフトすることによって、警報を行うと判定され易くなり（具体的には、大きな値のＴＴＣでも警報を行うと判定され）、警報を行うタイミングが早くなる。

衝突判定機能９ｃにおける警報マップシフト処理について説明する。衝突判定機能９ｃでは、警報タイミングシフト量ＳＴに応じて基準の警報マップＭＳをＴＴＣが大きくなるほうにシフトする。図７（ｂ）には、基準警報マップＭＳをシフトした警報マップＭ１及び警報マップＭ２を示している。この３つの基準警報マップＭＳ、警報マップＭ１、警報マップＭ２の場合、警報マップＭ２が設定されているときが最も早いタイミングで警報が出力される。なお、警報タイミングシフト量ＳＴの値が０の場合、シフトされずに、基準警報マップＭＳが使用される。

衝突判定機能９ｃにおける警報成立判定処理について説明する。衝突判定機能９ｃでは、シフトした警報マップ又は基準警報マップを用いて、演算によって求められた相対速度に対応するＴＴＣが警報マップにおけるその相対速度に対応するＴＴＣより小さいか否かを判定する。求めたＴＴＣが警報マップのＴＴＣより小さい場合、衝突判定機能９ｃでは、警報を行うと判定し（すなわち、衝突する可能性が高いと判定し）、ブザー８に警報信号を送信する。求めたＴＴＣが警報マップのＴＴＣ以上の場合、衝突判定機能９ｃでは、警報を行わないと判定する（すなわち、衝突する可能性が高くないと判定する）。

図１〜図７を参照して、衝突防止支援警報システム１における動作について説明する。特に、ＥＣＵ９における衝突判定機能９ｃにおける処理について図８のフローチャートに沿って説明する。図８は、図１のＥＣＵの衝突判定機能における処理の流れを示すフローチャートである。

前方カメラ２では、左右のステレオカメラにより前方をそれぞれ撮像し、その撮像した左右のステレオ画像を各前方画像信号としてＥＣＵ９にそれぞれ送信している。前方ミリ波センサ３では、前方にミリ波を送信するとともに反射してきたミリ波を受信し、その送受信データをミリ波信号としてＥＣＵ９に送信している。

ドライバ監視カメラ４では、ドライバの顔周辺を撮像し、その撮像画像データを監視画像信号としてＥＣＵ９に送信している。

車速センサ５では、自車両の速度を検出し、その検出値を車速信号としてＥＣＵ９に送信している。操舵角センサ６では、ステアリングの操舵角を検出し、その検出値を操舵角信号としてＥＣＵ９に送信している。ヨーレートセンサ７では、自車両のヨーレートを検出し、その検出値をヨーレート信号としてＥＣＵ９に送信している。

ＥＣＵ９の前方認識機能９ａでは、前方カメラ２からの各前方画像信号をそれぞれ受信するとともに、前方ミリ波センサ３からのミリ波信号を受信する。そして、前方認識機能９ａでは、一定時間毎に、ミリ波信号によるミリ波情報に基づいて前方の物体を検出し、その前方の物体の情報を演算する。また、前方認識機能９ａでは、一定時間毎に、各画像信号による左右のステレオ画像に基づいて前方の物体を検出し、その前方の物体の情報を演算する。そして、前方認識機能９ａでは、ミリ波情報によって検出した物体とステレオ画像によって検出した物体とを照合し、類似性のある物体を前方の物体として認識し、この認識した前方物体に対して距離、横位置、相対速度などの情報を設定する。

ＥＣＵ９の顔角度認識機能９ｂでは、ドライバ監視カメラ４からの監視画像信号を受信する。そして、顔角度認識機能９ｂでは、一定時間毎に、監視画像信号によるドライバの顔画像からドライバの顔向き角度を認識する。

ＥＣＵ９の衝突判定機能９ｃでは、車速センサ５からの車速信号、操舵角センサ６からの操舵角信号、ヨーレートセンサ７からのヨーレート信号をそれぞれ受信するとともに、前方認識機能９ａから認識した前方物体に関する情報を取得する。そして、衝突判定機能９ｃでは、一定時間毎に、車速、操舵角、ヨーレートから自車両の走行路を推定する。さらに、衝突判定機能９ｃでは、自車両の走行路の延長線上に前方認識機能９ａから認識した前方物体が存在するか否かを判定する。この判定で前方物体が存在すると判定した場合、衝突判定機能９ｃでは、その前方物体を同じ車線を走行している前方車両と判定する。この判定で前方物体が存在しないと判定した場合、衝突判定機能９ｃでは、今回の処理を終了する。

前方車両が存在すると判定した場合、衝突判定機能９ｃでは、その前方車両までの距離と前方車両との相対速度からＴＴＣを演算する。

衝突判定機能９ｃでは、一定時間毎に、顔角度認識機能９ｂで認識したドライバの顔向き角度θ_ｉを取得する（Ｓ１）。そして、衝突判定機能９ｃでは、ドライバの顔向き角度θ_ｉが有効視野角度ＶＡより大きいか否かを判定する（Ｓ２）。Ｓ２にてドライバの顔向き角度θ_ｉが有効視野角度ＶＡより大きいと判定した場合、衝突判定機能９ｃでは、ドライバは非正面状態と判断し、非正面状態継続時間（カウンタ）Ｔ_ｉをインクリメントする（Ｓ３）。

一方、Ｓ２にてドライバの顔向き角度θ_ｉが有効視野角度ＶＡ以内と判定した場合、衝突判定機能９ｃでは、ドライバは正面状態と判断し、非正面状態継続時間Ｔ_ｉをリセットする（Ｓ１０）。この場合、ドライバの脇見を考慮せずに、衝突判定機能９ｃでは、基準警報マップを基づいて、実際の相対速度に対応するＴＴＣが基準警報マップにおける相対速度に対応するＴＴＣより小さいか否かを判定する。この判定で実際のＴＴＣが警報マップのＴＴＣより小さいと判定した場合、衝突判定機能９ｃでは、警報を行うと判定し、ブザー８に警報信号を送信する。すると、ブザー８では、ドライバに対して注意喚起するために、その警報信号に応じてブザー音を出力する。一方、実際のＴＴＣが警報マップのＴＴＣ以上と判定した場合、衝突判定機能９ｃでは、警報を行わないと判定する。ここでは、ドライバは脇見していないが、実際の相対速度とＴＴＣとの関係から、警報を行う必要があるか否かを判定し（つまり、衝突の可能性が高いか否かを判定し）、警報を行う必要がある場合にブザー音を出力する。ドライバは、このブザー音に反応して、ブレーキ操作を行い、衝突を十分に回避できる。

衝突判定機能９ｃでは、ドライバの顔向き角度θ_ｉと各視認対象物の顔向き角度範囲とをそれぞれ比較し、ドライバの顔向き角度θ_ｉに応じた非正面状態係数関数の係数ａの値を抽出し、その係数ａを用いて非正面状態係数関数を設定する（Ｓ４）。そして、衝突判定機能９ｃでは、その設定した非正面状態係数関数により、非正面状態継続時間Ｔ_ｉに応じた非正面状態係数μ_ｉを演算する（Ｓ５）。

衝突判定機能９ｃでは、シフト基本時間ＴＢに非正面状態係数μ_ｉを乗算し、警報タイミングシフト量ＳＴを演算する（Ｓ６）。そして、衝突判定機能９ｃでは、この警報タイミングシフト量ＳＴにより基準の警報マップをシフトする（Ｓ７）。警報タイミングシフト量ＳＴが０の場合には基準警報マップのままである。

そして、衝突判定機能９ｃでは、そのシフトした警報マップ又は基準警報マップに基づいて、実際の相対速度に対応するＴＴＣが基準警報マップにおける相対速度に対応するＴＴＣより小さいか否かを判定する（Ｓ８）。Ｓ８にて実際のＴＴＣが警報マップのＴＴＣより小さいと判定した場合、衝突判定機能９ｃでは、警報を行うと判定し、ブザー８に警報信号を送信する（Ｓ９）。すると、ブザー８では、ドライバに対して注意喚起するために、その警報信号に応じてブザー音を出力する。警報信号送信後、衝突判定機能９ｃでは、非正面状態継続時間をリセットし（Ｓ１０）、Ｓ１に戻って次回の処理に移行する。

Ｓ８にて実際のＴＴＣが警報マップのＴＴＣ以上と判定した場合、衝突判定機能９ｃでは、警報を行わないと判定し、Ｓ１に戻って次回の処理に移行する。この場合、非正面状態の判定を継続中であり、処理を繰り返す毎に非正面状態継続時間Ｔ_ｉが大きくなり（ひいては、非正面状態係数μ_ｉが大きくなり）、警報タイミングが早くなっていく。

ここで、ドライバは脇見している状況（非正面状態になってからの継続時間、ドライバが何を視認しているかなど）に応じて、実際の相対速度とＴＴＣとの関係から、警報を行う必要があるか否かを判定し（つまり、衝突の可能性が高いか否かを判定し）、警報を行う必要がある場合にブザー音を出力する。この際、ドライバの顔向き角度が大きくなるほど、また、脇見している時間が長いほど、警報マップのシフト量が大きくなり、ブザー音の出力タイミングが通常より早くなる。そのため、ドライバがこのブザー音に反応して脇見状態から正面視し、前方車両を認識するまでの時間が十分に確保される。その結果、ドライバが、前方車両を認識してブレーキ操作を行い、衝突を十分に回避することができる。

この衝突防止支援警報システム１によれば、ドライバの顔向き角度や非正面状態を継続している時間などを考慮することにより、ドライバが脇見をしている状況を高精度に判定することができる。そのため、衝突防止支援警報システム１では、ドライバの脇見している状況に応じて、警報を行うか否かを高精度に判定することができる（ひいては、衝突の可能性が高いか否かを高精度に判定することができる）。その結果、ドライバの脇見している状況に応じて警報を行うタイミングが早くなるので、ドライバが脇見状態から正面視して前方車両を確認し、ブレーキ操作を行うまでの認知時間を十分に確保でき、衝突を未然に防止することができる。

また、衝突防止支援警報システム１によれば、非正面状態係数関数として二次関数を用いているので、非正面状態継続時間が比較的長い場合には非正面状態係数を大きくして警報を行うタイミングを早くでき、非正面状態継続時間が比較的短い場合には非正面状態係数を小さくして警報の出力を抑制できる。そのため、非正面状態継続時間が比較的長い場合、前方の環境の変化に対応して警報の早期出力による認知時間の確保によって、ドライバの前方車両に対する焦点調整遅れに対応できる。一方、非正面状態継続時間が比較的短い場合、必要な警報出力を抑制し、適正なタイミングで警報を出力できる。

また、衝突防止支援警報システム１によれば、ドライバが向いている顔向き角度に応じて非正面状態係数関数の係数ａを設定するので、ドライバの顔向き角度が大きいほど非正面状態係数を大きくして警報を行うタイミングを早くできる。そのため、ドライバが何を見ていようと、脇見状態から正面視して前方車両を確認し、ブレーキ操作を行うまでの認知時間を十分に確保することができる。

また、衝突防止支援警報システム１によれば、非正面状態継続時間に応じてドライバが脇見している状態を段階的に設定でき、警報タイミングを変化させることができる。そのため、従来の判定では脇見と判定していない段階でも、脇見している状態と判定でき、その段階に応じて警報のタイミングを設定できる。ちなみに、従来の脇見判定は、脇見しているか否かを判定しており、脇見している状態を段階的に判定していない。

また、衝突防止支援警報システム１によれば、非正面状態係数関数に脇見開始時間を設けているので、非正面状態継続時間が脇見開始時間になるまで非正面状態係数を０にすることができる。そのため、ドライバの瞬間的な顔の動きを脇見をしている状態と判断しないので、通常の警報タイミングからタイミングが変わらない。その結果、その瞬間的な顔の動きのために警報が出力されることがないので、ドライバにとって煩わし警報が無くなる。

以上、本発明に係る実施の形態について説明したが、本発明は上記実施の形態に限定されることなく様々な形態で実施される。

例えば、本実施の形態では衝突の可能性が高いときにドライバに対して警報を行う衝突防止支援警報システムに適用したが、警報の他に、衝突の可能性が高いときに車両側で自動ブレーキ力（介入ブレーキ力）を発生させるシステムに適用してもよい。このシステムの場合、非正面状態係数に応じて自動ブレーキ力を発生させるタイミングを変更する。また、本実施の形態では前方車両との衝突を防止するための衝突防止支援警報システムに適用したが、前方車両以外にも他の障害物（歩行者、自転車、自動車、路上落下物など）との衝突を回避する場合に適用してもよいし、あるいは、脇見判定装置単体として適用し、その他のシステムに脇見情報を提供やドライバに脇見していることを知らせるようにしてもよい。

また、本実施の形態ではドライバの顔向き角度を検出し、顔向き角度に基づいて正面状態か又は非正面状態かを判定する構成としたが、ドライバの視線方向を検出し、視線方向に基づいて正面状態か又は非正面状態かを判定する構成としてもよいし、あるいは、顔向き角度及び視線方向に基づいて正面状態か又は非正面状態かを判定する構成としてもよい。

また、本実施の形態では非正面状態係数関数として二次関数ａ（Ｔ_ｉ−Ｔ_ｓ）を適用したが、一次関数などの他の増加関数を適用してもよいし、あるいは、増加関数以外の関数を適用してもよい。

また、本実施の形態では非正面状態係数関数ａ（Ｔ_ｉ−Ｔ_ｓ）^２の係数ａをドライバの顔向き角度（水平方向の角度）に応じて変更する構成としたが、係数ａを固定としてもよいし、あるいは、ドライバの顔向き角度として水平方向の角度の他に鉛直方向の角度を加味し、水平方向の角度及び鉛直方向の角度に応じて係数ａを変更するようにしてもよい。図９には、ドライバが見ている対象物（例えば、正面（前方車両など）、右ドアミラー、左ドアミラー、ナビ画面、サンバイザ、足元）に応じた顔向き角度を水平方向の角度θ_ｉと鉛直方向の角度Ｕ_ｊの分布で示しており、ドライバの顔向き角度（θ_ｉ，Ｕ_ｊ）がこの角度分布（例えば、正面を向いている角度分布、右側を向いている角度分布、左側を向いている角度分布、左側中央よりを向いている角度分布、上側を向いている角度分追え、下側を向いている角度分布）のいずれの分布に入っているか否かを判定し、対象物視認時の顔向き角度（θ_ｉ，Ｕ_ｊ）に応じた係数ａを設定する。図９に示したものは、一例であり、この他にも様々な視認対象物に対して適用できる。

また、本実施の形態では脇見開始時間Ｔ_ｓを用いて非正面状態係数を一定時間、０とする非正面状態係数関数ａ（Ｔ_ｉ−Ｔ_ｓ）^２としたが、瞬間的な脇見を考慮する必要のないときには、脇見開始時間Ｔ_ｓを設定せずに、非正面状態係数関数としてａＴ_ｉ ^２としてもよい。

また、本実施の形態では警報マップを用いてＴＴＣと相対速度に基づいて警報を行うか否かの判定（すなわち、衝突の可能性の高いか否かの判定）を行う構成としたが、ＴＴＣだけに基づいて警報を行うか否かの判定を行ってもよい。また、相対速度が大きくなるのに応じてＴＴＣが大きくなる警報マップとしたが、この警報マップに限定されることなく、相対速度とＴＴＣとの関係を適宜設定してよい。

また、本実施の形態では前方物体を認識するためにミリ波レーダとステレオ画像の組み合わせで行うものに適用したが、ミリ波レーダだけで行うものに適用してもよいし、ステレオ画像だけで行うものに適用してもよいし、あるいは、ミリ波レーダと単眼画像の組み合わせで行うものに適用してもよい。

本実施の形態に係る衝突防止支援警報システムの構成図である。図１のＥＣＵの衝突判定機能における内部処理を示すブロック図である。人の有効視野角度を示す図である。人の眼球の網膜位置と視力との関係を示す図である。ドライバの視認対象物に対する顔向き角度（水平方向の角度）の一例であり、（ａ）がナビ視認時顔向き角度であり、（ｂ）が左サイドミラー視認時顔向き角度である。ドライバの顔向き角度に応じた非正面状態係数関数の一例である。警報マップの一例であり、（ａ）が基準の警報マップであり、（ｂ）が警報タイミングシフト量分シフトした警報マップである。図１のＥＣＵの衝突判定機能における処理の流れを示すフローチャートである。ドライバの視認対象物に対する顔向き角度（水平方向の角度及び鉛直方向の角度）の一例である。

符号の説明

１…衝突防止支援警報システム、２…前方カメラ、３…前方ミリ波センサ、４…ドライバ監視カメラ、５…車速センサ、６…操舵角センサ、７…ヨーレートセンサ、８…ブザー、９…ＥＣＵ、９ａ…前方認識機能、９ｂ…顔角度認識機能、９ｃ…衝突判定機能

Claims

ドライバの脇見を判定する脇見判定装置であって、
ドライバの顔向き角度及び／又は視線方向を検出する向き検出手段と、
前記向き検出手段で検出した顔向き角度及び／又は視線方向に基づいてドライバが非正面状態か否かを判定する非正面状態判定手段と、
非正面状態係数関数により前記非正面状態判定手段で非正面状態と判定している継続時間に応じて非正面状態係数を演算する非正面状態係数演算手段と
を備え、
前記非正面状態係数は、ドライバの脇見している状態を表す係数であり、ドライバの非正面状態の継続時間が長くなるのに応じて増加する係数であり、
前記非正面状態係数関数は、ドライバの非正面状態の継続時間を変数として前記非正面状態係数を求めるための関数であり、ドライバの非正面状態の継続時間に応じて増加度合いが増大する二次関数であり、ドライバの個人特性又は／及び車両前方での環境変化に応じて設定される係数を含む関数であることを特徴とする脇見判定装置。
前記非正面状態係数関数は、前記向き検出手段で検出した顔向き角度及び／又は視線方向に応じて増加の度合いが異なる増加関数であることを特徴とする請求項１に記載する脇見判定装置。
前記非正面状態係数関数は、前記非正面状態判定手段で非正面状態と判定した判定開始時から一定時間、非正面状態係数を０とする関数であることを特徴とする請求項１又は請求項２に記載する脇見判定装置。
前記非正面状態係数演算手段で演算した非正面状態係数に応じて警報を行うタイミングを変更することを特徴とする請求項１〜請求項３のいずれか１項に記載する脇見判定装置。
前記非正面状態係数演算手段で演算した非正面状態係数に応じて自動制動を行うタイミングを変更することを特徴とする請求項１〜請求項４のいずれか１項に記載する脇見判定装置。