JP6693427B2 - ドライバ状態検出装置 - Google Patents

ドライバ状態検出装置 Download PDF

Info

Publication number
JP6693427B2
JP6693427B2 JP2017006953A JP2017006953A JP6693427B2 JP 6693427 B2 JP6693427 B2 JP 6693427B2 JP 2017006953 A JP2017006953 A JP 2017006953A JP 2017006953 A JP2017006953 A JP 2017006953A JP 6693427 B2 JP6693427 B2 JP 6693427B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
threshold range
curve
face
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017006953A
Other languages
English (en)
Other versions
JP2018116495A (ja
Inventor
松村 健
健 松村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017006953A priority Critical patent/JP6693427B2/ja
Priority to US15/870,497 priority patent/US10604160B2/en
Publication of JP2018116495A publication Critical patent/JP2018116495A/ja
Application granted granted Critical
Publication of JP6693427B2 publication Critical patent/JP6693427B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze

Description

本発明はドライバ状態検出装置に関する。
従来、車両に設けられた撮像手段を用いて脇見等のドライバ状態を検出するための装置が知られている。例えば、特許文献1に記載の脇見判定装置では、撮像手段によって出力されたドライバの顔画像からドライバの視線を検出し、検出された視線が所定範囲外にある場合にドライバが脇見状態にあると判定される。また、車両がカーブを通過する際には、上記所定範囲がカーブ方向に所定量だけ変位させられる。
特開2012−058769号公報 特開2009−294753号公報
ところで、自車両の速度が遅い場合、自車両から遠い他車両だけでなく自車両に近い他車両も自車線に割り込んでくる可能性がある。このため、自車両の速度が遅いほど、ドライバが監視すべき範囲は広くなる。したがって、ドライバの脇見検出のための視線又は顔向きの閾値範囲を一定の値に設定した場合、自車両の速度に応じてドライバの脇見を適切に検出できないおそれがある。
そこで、本発明の目的は、自車両の速度に応じてドライバの脇見を適切に検出することができるドライバ状態検出装置を提供することにある。
本開示の要旨は以下のとおりである。
(1)車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、前記車両の速度を検出する車速センサと、前記顔画像に基づいて前記ドライバの視線又は顔向きを検出する顔情報検出部と、前記ドライバの視線又は顔向きとして許容される閾値範囲を設定する閾値範囲設定部と、前記ドライバの状態を判定するドライバ状態判定部とを備え、前記ドライバ状態判定部は、前記顔情報検出部によって検出された前記ドライバの視線又は顔向きが前記閾値範囲外である場合に前記ドライバが脇見をしていると判定し、前記閾値範囲設定部は、前記車速センサによって検出された前記車両の速度に応じて前記閾値範囲を変更する、ドライバ状態検出装置。
(2)前記閾値範囲設定部は、前記車速センサによって検出された前記車両の速度が相対的に遅い場合に、該車両の速度が相対的に速い場合に比べて前記閾値範囲を狭くする、上記(1)に記載のドライバ状態検出装置。
(3)前記閾値範囲設定部は、前記車速センサによって検出された前記車両の速度が相対的に遅い場合に、該車両の速度が相対的に速い場合に比べて前記閾値範囲を広くする、上記(1)に記載のドライバ状態検出装置。
(4)前記ドライバ状態判定部は、前記ドライバの視線又は顔向きが所定時間以上前記閾値範囲外である場合に前記ドライバが脇見をしていると判定する、上記(1)から(3)のいずれか1つに記載のドライバ状態検出装置。
(5)前記車両の進行方向前方に位置するカーブの有無及び方向を検出するカーブ検出部を更に備え、前記閾値範囲設定部は、前記車両が前記カーブに進入する前に、前記カーブ検出部によって検出された前記カーブの方向に前記閾値範囲を所定量だけシフトさせる、上記(1)から(4)のいずれか1つに記載のドライバ状態検出装置。
(6)前記カーブ検出部は前記カーブの曲率半径を検出し、前記閾値範囲設定部は、前記カーブ検出部によって検出された前記曲率半径が相対的に小さい場合に、該曲率半径が相対的に大きい場合に比べて前記所定量を大きくする、上記(5)に記載のドライバ状態検出装置。
本発明によれば、自車両の速度に応じてドライバの脇見を適切に検出することができるドライバ状態検出装置が提供される。
図1は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。 図2は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。 図3は、第一実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。 図4は、車両の速度と閾値範囲との関係を示すマップである。 図5は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。 図6は、第二実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。 図7は、本発明の第三実施形態に係るドライバ状態検出装置の構成を示すブロック図である。 図8は、第三実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。 図9は、カーブの曲率半径と閾値範囲の中心値のシフト量との関係を示すマップである。
以下、図面を参照して本発明の実施形態について詳細に説明する。なお、以下の説明では、同様な構成要素には同一の参照番号を付す。
<第一実施形態>
以下、図1〜図5を参照して、本発明の第一実施形態について説明する。図1は、本発明の第一実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置1は、車両に搭載され、車両のドライバの状態を検出する。ドライバ状態検出装置1はドライバモニタカメラ10と電子制御ユニット(ECU)20と車速センサ30とを備える。
図2は、ドライバ状態検出装置を搭載した車両の内部を概略的に示す図である。ドライバモニタカメラ10は車両80(自車両)のドライバの顔を撮影してドライバの顔画像を生成する。ドライバモニタカメラ10は車内に設けられる。具体的には、図2に示すように、ドライバモニタカメラ10は車両80のステアリングコラム81の上部に設けられる。図2には、ドライバモニタカメラ10の投影範囲が破線で示されている。なお、ドライバモニタカメラ10は、車両80のステアリング82、ルームミラー、メータパネル、メータフード等に設けられてもよい。また、ドライバ状態検出装置1は複数のドライバモニタカメラ10を備えていてもよい。
ドライバモニタカメラ10はカメラ及び投光器から構成される。例えば、カメラはCMOS(相補型金属酸化膜半導体)カメラ又はCCD(電荷結合素子)カメラであり、投光器はLED(発光ダイオード)である。また、夜間等の低照度時においてもドライバに不快感を与えることなくドライバの顔を撮影できるように、好ましくは、投光器は近赤外LEDである。例えば、投光器は、カメラの両側に配置された二個の近赤外LEDである。また、カメラには可視光カットフィルタのようなフィルタが設けられてもよい。ドライバモニタカメラ10によって生成されたドライバの顔画像はドライバモニタカメラ10からECU20に送信される。
車速センサ30は、車両80に設けられ、車両80の速度を検出する。車速センサ30によって検出された車両80の速度は車速センサ30からECU20に送信される。
ECU20は、双方向性バスによって相互に接続された中央演算装置(CPU)、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、入力ポート及び出力ポートを備えたマイクロコンピュータである。本実施形態では、一つのECU20が設けられているが、機能毎に複数のECUが設けられていてもよい。ECU20は顔情報検出部21と閾値範囲設定部22とドライバ状態判定部23とを含む。
顔情報検出部21は、ドライバモニタカメラ10によって生成されたドライバの顔画像に基づいてドライバの視線又は顔向きを検出する。閾値範囲設定部22はドライバの視線又は顔向きとして許容される閾値範囲を設定する。ドライバ状態判定部23はドライバの状態を判定する。具体的には、ドライバ状態判定部23は、顔情報検出部21によって検出されたドライバの視線又は顔向きが閾値範囲外である場合にドライバが脇見をしていると判定する。
顔情報検出部21は、例えば、以下の方法によってドライバの視線を検出する。顔情報検出部21は、ドライバの顔画像から顔領域を特定し、眼、鼻、口等の顔部品の特徴点を抽出することによって顔部品を検出する。さらに、顔情報検出部21は、プルキニエ像(角膜反射像)の位置と瞳孔中心の位置とを検出し、プルキニエ像と瞳孔中心との位置関係からドライバの視線を検出する。
顔情報検出部21は、例えば、以下の方法によってドライバの顔向きを検出する。顔情報検出部21は、ドライバが正面を向いているときの3D顔形状データを予め記憶している。3D顔形状データは、一般的な人間の顔のデータであっても、ドライバ毎に取得されてもよい。3D顔形状データは例えばECU20のROM又はRAMに記憶される。顔情報検出部21は、生成されたドライバの顔画像と、3D顔形状データとのマッチングを行う。顔情報検出部21は、両者の一致率が最大となるようにドライバの顔画像を回転させ、このときの回転角度からドライバの顔向きを検出する。なお、顔情報検出部21は顔領域と各顔部品との位置関係からドライバの顔向きを検出してもよい。
ところで、車両80の速度が遅い場合、車両80から遠い他車両だけでなく車両80に近い他車両も自車線に割り込んでくる可能性がある。このため、車両80の速度が遅いほど、ドライバが監視すべき範囲は広くなる。したがって、ドライバの脇見検出のための視線又は顔向きの閾値範囲を一定の値に設定した場合、自車両の速度に応じてドライバの脇見を適切に検出できないおそれがある。そこで、本実施形態では、閾値範囲設定部22は、車速センサ30によって検出された車両80の速度に応じて閾値範囲を変更する。このことによって、自車両の速度に応じてドライバの脇見を適切に検出することができる。例えば、閾値範囲設定部22は車両80の速度に応じて閾値範囲を以下のように変更する。
人間の眼には有効視野が存在するため、ドライバが右側を向いているときには左側の視野が狭くなり、ドライバが左側を向いているときには右側の視野が狭くなる。このため、ドライバが左右両方の広い範囲を監視するためには、ドライバはできるだけ正面を向いている必要がある。したがって、車両80の速度が遅いほど、ドライバの視線又は顔向きの許容範囲が狭くなる。
上記知見に基づいて、本実施形態では、閾値範囲設定部22は、車速センサ30によって検出された車両80の速度が相対的に遅い場合に、車両80の速度が相対的に速い場合に比べて閾値範囲を狭くする。このことによって、車両80の速度に応じた適切な監視負担をドライバに課すことができる。
ドライバ状態判定部23は、ドライバが脇見をしていると判定した場合には、ドライバに警報を与える。例えば、ドライバ状態判定部23はヒューマン・マシン・インターフェース(Human Machine Interface(HMI))50を介して視覚的又は聴覚的にドライバに警報を与える。HMI50は、ドライバと車両80との間で情報の入出力を行うためのインターフェイスである。HMI50は、例えば、文字又は画像情報を表示するディスプレイ、音を発生させるスピーカ、ドライバが入力操作を行うための操作ボタン、タッチパネル、マイク等から構成される。
以下、図3及び図5のフローチャートを参照して、ドライバ状態検出装置1を用いてドライバの脇見を検出するための制御について詳細に説明する。図3は、第一実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両80の走行中、ECU20によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、ドライバの視線又は顔向きの閾値範囲が設定される。
最初に、ステップS101において、閾値範囲設定部22が車両80の速度を車速センサ30から取得する。車両80の速度は車速センサ30によって検出される。次いで、ステップS102において、閾値範囲設定部22がドライバの視線又は顔向きの閾値範囲を設定する。このとき、閾値範囲設定部22は、車両80の速度が相対的に遅い場合に、車両80の速度が相対的に速い場合に比べて閾値範囲を狭くする。なお、閾値範囲設定部22は、閾値範囲の中心値を0°(正面)に設定する。
例えば、閾値範囲設定部22は、図4に示したようなマップを用いて閾値範囲を設定する。このマップでは、閾値範囲(大きさ)が車両80の速度の関数として示される。閾値範囲は車両80の速度が遅くなるにつれて線形的に狭くされる。なお、閾値範囲は、図4に破線で示したように、車両80の速度が遅くなるにつれて段階的(ステップ状)に狭くされてもよい。
ステップS102の後、本制御ルーチンは終了する。
図5は、第一実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両80の走行中、ECU20によって繰り返し実行される。本制御ルーチンでは車両80の走行中にドライバが脇見しているか否かが判定される。
最初に、ステップS201において、顔情報検出部21がドライバモニタカメラ10からドライバの顔画像を取得する。ドライバの顔画像はドライバモニタカメラ10によって生成される。
次いで、ステップS202において、顔情報検出部21がドライバの顔画像に基づいてドライバの視線又は顔向きを検出する。例えば、顔情報検出部21は、上述した方法によってドライバの視線又は顔向きを検出する。
次いで、ステップS203において、ドライバ状態判定部23が閾値範囲設定部22からドライバの視線又は顔向きの閾値範囲を取得する。ドライバの視線又は顔向きの閾値範囲は閾値範囲設定部22によって図3のステップS102において設定される。
次いで、ステップS204において、ドライバ状態判定部23が、ドライバの視線又は顔向きが閾値範囲内であるか否かを判定する。ドライバの視線又は顔向きが閾値範囲内であると判定された場合、ドライバは脇見をしていないと考えられるため、本制御ルーチンは終了する。一方、ドライバの視線又は顔向きが閾値範囲外であると判定された場合、本制御ルーチンはステップS205に進む。
ステップS205では、ドライバ状態判定部23が、ドライバが脇見をしていると判定する。次いで、ステップS206において、ドライバ状態判定部23がドライバに警報を与える。例えば、ドライバ状態判定部23はHMI50を介して視覚的又は聴覚的にドライバに警報を与える。ステップS206の後、本制御ルーチンは終了する。なお、ドライバが脇見をしていることが明確に通知されなくても、ドライバに警報が与えられた場合には、実質的に、ドライバが脇見をしていると判定されていると言える。
また、ドライバは、他車線を走行している他車両が自車両の近くにいる場合、他車両の挙動を予測するために他車両の方向に顔を向ける場合がある。このとき、視線又は顔向きの閾値範囲が狭いと、適切に監視を行っているドライバに対して誤警報が与えられ、ドライバに不快感を与えるおそれがある。上述したように、車両80の速度が遅いときには、ドライバが監視すべき範囲が広くなるため、他車両の監視時にドライバの視線又は顔向きが正面(0°)から大きくずれる場合がある。このため、ドライバに対する誤警報を低減すべく、閾値範囲設定部22は、車両80の速度が相対的に遅い場合に、車両80の速度が相対的に速い場合に比べて閾値範囲を広くしてもよい。この場合、閾値範囲は車両80の速度が遅くなるにつれて線形的に又は段階的(ステップ状)に広くされる。
<第二実施形態>
第二実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第二実施形態について、第一実施形態と異なる部分を中心に説明する。
典型的なドライバは十字路等において周囲の安全を確認するために左右に首を大きく振る。この結果、ドライバの視線又は顔向きが瞬間的に閾値範囲外になる場合がある。しかしながら、斯かる行為は走行時の安全性を高めるものであり、斯かる行為を脇見と判定してドライバに警報を与えることは好ましくない。
そこで、第二実施形態では、ドライバ状態判定部23は、ドライバの視線又は顔向きが、所定時間以上、閾値範囲外である場合にドライバが脇見をしていると判定する。所定時間は、安全確認のための首振りによってドライバの視線又は顔向きが閾値範囲外に維持される時間よりも長くなるように設定される。この結果、第二実施形態では、ドライバの脇見をより精度良く検出することができる。
図6は、第二実施形態におけるドライバ状態判定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両80の走行中、ECU20によって繰り返し実行される。本制御ルーチンでは車両80の走行中にドライバが脇見しているか否かが判定される。ステップS301〜ステップS304は、図5のステップS201〜ステップS204と同様であることから説明を省略する。
本制御ルーチンは、ステップS304においてドライバの視線又は顔向きが閾値範囲外であると判定された場合、ステップS305に進む。ステップS305では、ドライバ状態判定部23が積算時間Tを更新する。具体的には、ドライバ状態判定部23は、積算時間Tに微小時間Δtを加算した値を新たな積算時間Tとする。積算時間Tは、ドライバの視線又は顔向きが閾値範囲外に維持された時間の合計である。積算時間Tの初期値はゼロである。また、微小時間Δtは本制御ルーチンの実行間隔に相当する値である。
次いで、ステップS306において、ドライバ状態判定部23が、積算時間Tが所定時間Tref以上であるか否かを判定する。所定時間Trefは例えば2〜5秒である。ステップS306において積算時間Tが所定時間Tref未満であると判定された場合、ドライバは脇見をしていないと考えられるため、本制御ルーチンは終了する。一方、ステップS306において積算時間Tが所定時間Tref以上であると判定された場合、本制御ルーチンはステップS307に進む。
ステップS307では、ドライバ状態判定部23が、ドライバが脇見をしていると判定する。次いで、ステップS308において、図5のステップS206と同様に、ドライバ状態判定部23がドライバに警報を与える。次いで、ステップS309において、ドライバ状態判定部23が積算時間Tをリセットしてゼロにする。ステップS309の後、本制御ルーチンは終了する。
一方、ステップS304においてドライバの視線又は顔向きが閾値範囲内であると判定された場合、本制御ルーチンはステップS309に進む。ステップS309では、ドライバ状態判定部23が積算時間Tをリセットしてゼロにする。ステップS309の後、本制御ルーチンは終了する。
<第三実施形態>
第三実施形態に係るドライバ状態検出装置の構成及び制御は、以下に説明する点を除いて、基本的に第一実施形態に係るドライバ状態検出装置の構成及び制御と同様である。このため、以下、本発明の第三実施形態について、第一実施形態と異なる部分を中心に説明する。
ドライバ状態検出装置は、車両80が直進しているときだけでなく、車両80が旋回しているときにもドライバの脇見を検出する必要がある。車両80がカーブを通過するとき、ドライバは、進路上の安全を確認するために、視線及び顔向きを正面からずらしてカーブの先を見る必要がある。しかしながら、視線又は顔向きの閾値範囲は、通常、0°(正面)を中心に設定されている。このため、ドライバが安全確認のためにカーブの先を見ているにも拘わらず、ドライバの視線又は顔向きが閾値範囲外になり、ドライバに警報が与えられる場合がある。
そこで、第三実施形態では、車両80の旋回時における脇見の誤判定を回避すべく、車両80の走行進路を考慮してドライバの視線又は顔向きの閾値範囲が設定される。図7は、本発明の第三実施形態に係るドライバ状態検出装置の構成を示すブロック図である。ドライバ状態検出装置1’はドライバモニタカメラ10と電子制御ユニット(ECU)20と車速センサ30とを備える。ECU20は顔情報検出部21と閾値範囲設定部22とドライバ状態判定部23とカーブ検出部24とを含む。また、車両80にはナビゲーション装置60が設けられている。
ナビゲーション装置60は、GPS受信機を有し、GPS受信機によって車両80の現在位置を検出する。また、ナビゲーション装置60は地図情報を記憶している。地図情報には、道路の位置情報、道路の形状情報(例えばカーブと直線部との種別、カーブの曲率半径等)、交差点及び分岐点の位置情報、道路種別等の情報が含まれる。
カーブ検出部24は、車両80の進行方向前方に位置するカーブの有無及び方向を検出する。例えば、カーブ検出部24は、ナビゲーション装置60から取得した情報に基づいて、車両80の進行方向前方に位置するカーブの有無及び方向を検出する。なお、カーブ検出部24は、車両80の外部から受信した情報に基づいてこれらを検出してもよい。
ドライバは、通常、車両80がカーブに進入する手前から視線及び顔向きをカーブの方向に移動させる。このため、閾値範囲設定部22は、車両80がカーブに進入する前に、カーブ検出部24によって検出されたカーブの方向にドライバの視線又は顔向きの閾値範囲を所定量だけシフトさせる。このことによって、車両80のカーブ走行時にもドライバの脇見を精度良く検出することができる。
また、カーブの曲率半径が小さいほど、カーブの曲がり具合がきつくなるため、ドライバの視線及び顔向きの移動量は多くなる。このため、カーブ検出部24はカーブの曲率半径を検出し、閾値範囲設定部22は、カーブ検出部24によって検出された曲率半径が相対的に小さい場合に、曲率半径が相対的に大きい場合に比べて上記所定量を大きくする。このことによって、閾値範囲がカーブの曲率半径に応じた値に設定されるため、カーブ走行中のドライバの脇見をより精度良く検出することができる。
図8は、第三実施形態における閾値範囲設定処理の制御ルーチンを示すフローチャートである。本制御ルーチンは、車両80の走行中、ECU20によって所定の時間間隔で繰り返し実行される。本制御ルーチンでは、ドライバの視線又は顔向きの閾値範囲が設定される。
最初に、ステップS401において、図3のステップS101と同様に、閾値範囲設定部22が車両80の速度を車速センサ30から取得する。次いで、ステップS402において、カーブ検出部24が、車両80の進行方向前方の所定距離内にカーブが有るか否かを判定する。カーブが無いと判定された場合、本制御ルーチンはステップS405に進む。
ステップS405では、閾値範囲設定部22が、図3のステップS102と同様にドライバの視線又は顔向きの閾値範囲を設定する。ステップS405の後、本制御ルーチンは終了する。
一方、ステップS402においてカーブが有ると判定された場合、本制御ルーチンはステップS403に進む。ステップS403では、カーブ検出部24がカーブの方向を検出する。次いで、ステップS404において、カーブ検出部24がカーブの曲率半径を検出する。
次いで、ステップS405において、閾値範囲設定部22がドライバの視線又は顔向きの閾値範囲を設定する。このとき、閾値範囲設定部22は、車両80の速度が相対的に遅い場合に、車両80の速度が相対的に速い場合に比べて閾値範囲を狭くする。また、閾値範囲設定部22は、ステップS403において検出されたカーブの方向にドライバの視線又は顔向きの閾値範囲を所定量だけシフトさせる。例えば、閾値範囲設定部22はカーブの方向に閾値範囲の中心値を所定量だけシフトさせる。所定量は、ステップS404において検出された曲率半径が相対的に小さい場合に、曲率半径が相対的に大きい場合に比べて大きくされる。
例えば、閾値範囲設定部22は、図9に示したようなマップを用いて閾値範囲の中心値のシフト量を設定する。このマップでは、閾値範囲の中心値のシフト量がカーブの曲率半径の関数として示される。閾値範囲の中心値のシフト量は曲率半径が小さくなるにつれて線形的に大きくされる。なお、閾値範囲の中心値のシフト量は、図9に破線で示したように、曲率半径が小さくなるにつれて段階的(ステップ状)に大きくされてもよい。例えば、カーブの方向が右であり、カーブの曲率半径が500メートルの場合、閾値範囲の中心値を+5°に設定する。一方、カーブの方向が左であり、カーブの曲率半径が300メートルの場合、閾値範囲の中心値を−8°に設定する。ステップS405の後、本制御ルーチンは終了する。
なお、ステップS404は省略されてもよい。この場合、ステップS403の後のステップS405において、閾値範囲の中心値のシフト量は、予め定められた固定値に設定される。
また、第三実施形態においても、図5のドライバ状態判定処理の制御ルーチンが実行される。このとき、ステップS203において、図8のステップS405において設定された閾値範囲が取得される。
以上、本発明に係る好適な実施形態を説明したが、本発明はこれら実施形態に限定されるものではなく、特許請求の範囲の記載内で様々な修正及び変更を施すことができる。また、上述した実施形態は、任意に組み合わせて実施可能である。例えば、第三実施形態において図6のドライバ状態判定処理の制御ルーチンが実行されてもよい。
1、1’ ドライバ状態検出装置
10 ドライバモニタカメラ
20 電子制御ユニット(ECU)
21 顔情報検出部
22 閾値範囲設定部
23 ドライバ状態判定部
30 車速センサ
80 車両

Claims (4)

  1. 車両のドライバの顔を撮影して該ドライバの顔画像を生成するドライバモニタカメラと、
    前記車両の速度を検出する車速センサと、
    前記顔画像に基づいて前記ドライバの視線又は顔向きを検出する顔情報検出部と、
    前記ドライバの視線又は顔向きとして許容される閾値範囲を設定する閾値範囲設定部と、
    前記ドライバの状態を判定するドライバ状態判定部と
    を備え、
    前記ドライバ状態判定部は、前記顔情報検出部によって検出された前記ドライバの視線又は顔向きが前記閾値範囲外である場合に前記ドライバが脇見をしていると判定し、
    前記閾値範囲設定部は、前記車速センサによって検出された前記車両の速度に応じて前記閾値範囲を変更し、
    前記閾値範囲設定部は、前記車速センサによって検出された前記車両の速度が相対的に遅い場合に、該車両の速度が相対的に速い場合に比べて前記閾値範囲を狭くする、ドライバ状態検出装置。
  2. 前記ドライバ状態判定部は、前記ドライバの視線又は顔向きが所定時間以上前記閾値範囲外である場合に前記ドライバが脇見をしていると判定する、請求項1に記載のドライバ状態検出装置。
  3. 前記車両の進行方向前方に位置するカーブの有無及び方向を検出するカーブ検出部を更に備え、
    前記閾値範囲設定部は、前記車両が前記カーブに進入する前に、前記カーブ検出部によって検出された前記カーブの方向に前記閾値範囲を所定量だけシフトさせる、請求項1又は2に記載のドライバ状態検出装置。
  4. 前記カーブ検出部は前記カーブの曲率半径を検出し、
    前記閾値範囲設定部は、前記カーブ検出部によって検出された前記曲率半径が相対的に小さい場合に、該曲率半径が相対的に大きい場合に比べて前記所定量を大きくする、請求項に記載のドライバ状態検出装置。
JP2017006953A 2017-01-18 2017-01-18 ドライバ状態検出装置 Active JP6693427B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2017006953A JP6693427B2 (ja) 2017-01-18 2017-01-18 ドライバ状態検出装置
US15/870,497 US10604160B2 (en) 2017-01-18 2018-01-12 Driver condition detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017006953A JP6693427B2 (ja) 2017-01-18 2017-01-18 ドライバ状態検出装置

Publications (2)

Publication Number Publication Date
JP2018116495A JP2018116495A (ja) 2018-07-26
JP6693427B2 true JP6693427B2 (ja) 2020-05-13

Family

ID=62838688

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017006953A Active JP6693427B2 (ja) 2017-01-18 2017-01-18 ドライバ状態検出装置

Country Status (2)

Country Link
US (1) US10604160B2 (ja)
JP (1) JP6693427B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6627787B2 (ja) * 2017-01-17 2020-01-08 トヨタ自動車株式会社 ドライバ状態検出装置
JP6693427B2 (ja) * 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
JP6809262B2 (ja) 2017-02-08 2021-01-06 トヨタ自動車株式会社 ドライバ状態検出装置
JP7056308B2 (ja) * 2018-03-28 2022-04-19 マツダ株式会社 車両用警報装置
JP7227106B2 (ja) * 2019-08-22 2023-02-21 本田技研工業株式会社 操作制御装置、操作制御方法、およびプログラム
CN110909718B (zh) * 2019-12-11 2024-04-19 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
CN112347891B (zh) * 2020-10-30 2022-02-22 南京佑驾科技有限公司 基于视觉的舱内喝水状态检测方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452685B2 (ja) 1995-05-10 2003-09-29 三菱電機株式会社 顔画像の処理装置
JP3093959U (ja) 2002-11-11 2003-05-23 宣夫 芦立 非常事態伝達システムを内蔵した箱体
JP2008037218A (ja) 2006-08-03 2008-02-21 Aisin Aw Co Ltd 車両制御装置
JP2009136551A (ja) * 2007-12-07 2009-06-25 Denso Corp 車両用顔特徴量検出装置及び顔特徴量検出方法
JP2009176112A (ja) * 2008-01-25 2009-08-06 Mazda Motor Corp 乗員の視線検出装置
JP2009244959A (ja) * 2008-03-28 2009-10-22 Toyota Motor Corp 運転支援装置、運転支援方法
JP2009294753A (ja) 2008-06-03 2009-12-17 Toyota Motor Corp 画像処理装置および画像処理方法
CN101980660B (zh) * 2008-09-19 2013-01-16 松下电器产业株式会社 注意力分散检测装置、及注意力分散检测方法
JP5184596B2 (ja) * 2010-09-03 2013-04-17 本田技研工業株式会社 脇見判定装置
JP2014019301A (ja) 2012-07-18 2014-02-03 Toyota Motor Corp 緊急退避装置
EP2757013B1 (en) * 2013-01-21 2019-08-14 Volvo Car Corporation Vehicle driver assist arrangement
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
WO2015198542A1 (ja) 2014-06-23 2015-12-30 株式会社デンソー ドライバの運転不能状態検出装置
JP6693427B2 (ja) * 2017-01-18 2020-05-13 トヨタ自動車株式会社 ドライバ状態検出装置
JP7074432B2 (ja) * 2017-06-26 2022-05-24 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置

Also Published As

Publication number Publication date
US10604160B2 (en) 2020-03-31
US20180201276A1 (en) 2018-07-19
JP2018116495A (ja) 2018-07-26

Similar Documents

Publication Publication Date Title
JP6915502B2 (ja) ドライバ状態検出装置
JP6693427B2 (ja) ドライバ状態検出装置
KR101231510B1 (ko) 운전자 주시방향 연동 전방충돌 위험경보 시스템, 그 방법 및 그를 이용한 차량
EP2893867B1 (en) Detecting visual inattention based on eye convergence
KR102051142B1 (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
US8447072B2 (en) Inattention determining device
JP6284644B2 (ja) 自動二輪車のための情報提供装置及びプログラム
JP6103383B2 (ja) 車両運転評価システム
JP2009098900A (ja) 脇見状態判定装置
KR102506871B1 (ko) 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
JP6218618B2 (ja) 運転支援装置、運転支援方法及び運転支援プログラム
JP4725254B2 (ja) 脇見判定装置
JP2007082594A (ja) 疲労検出装置
JP2018127084A (ja) 自動運転車両
JP2017151606A (ja) 脇見見落とし注意システム及びコンピュータプログラム
JP2020086907A (ja) 漫然運転判定装置
JP2019091256A (ja) 警報制御装置、警報制御方法、および警報制御のためのプログラム
JP6962141B2 (ja) ドライバ状態検出装置
JP2015118404A (ja) 運転支援装置
JP6992417B2 (ja) ドライバ状態検出装置
US11919522B2 (en) Apparatus and method for determining state
JP7298351B2 (ja) 状態判定装置、車載機、運転評価システム、状態判定方法、及びプログラム
JP2018108784A (ja) 脇見判定装置及び方法
JP7333702B2 (ja) 車両の危険状況判別装置、車両の危険状況判別方法、及びプログラム
JP2021196941A (ja) ドライバ監視システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180724

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190611

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190612

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200317

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200330

R151 Written notification of patent or utility model registration

Ref document number: 6693427

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151