JP5353416B2 - ドライバ状態監視装置及び車両制御装置 - Google Patents

ドライバ状態監視装置及び車両制御装置 Download PDF

Info

Publication number
JP5353416B2
JP5353416B2 JP2009107640A JP2009107640A JP5353416B2 JP 5353416 B2 JP5353416 B2 JP 5353416B2 JP 2009107640 A JP2009107640 A JP 2009107640A JP 2009107640 A JP2009107640 A JP 2009107640A JP 5353416 B2 JP5353416 B2 JP 5353416B2
Authority
JP
Japan
Prior art keywords
driver
vehicle
navigation information
vehicle speed
state monitoring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009107640A
Other languages
English (en)
Other versions
JP2010257293A (ja
Inventor
重康 魚住
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2009107640A priority Critical patent/JP5353416B2/ja
Publication of JP2010257293A publication Critical patent/JP2010257293A/ja
Application granted granted Critical
Publication of JP5353416B2 publication Critical patent/JP5353416B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B29/00Checking or monitoring of signalling or alarm systems; Prevention or correction of operating errors, e.g. preventing unauthorised operation
    • G08B29/18Prevention or correction of operating errors
    • G08B29/185Signal analysis techniques for reducing or preventing false alarms or for enhancing the reliability of the system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872Driver physiology
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/30Road curve radius
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems

Description

本発明は、ドライバモニタカメラを用いて運転者の脇見や居眠りを監視するドライバ状態監視装置、及びドライバ状態監視装置から取得したドライバ状態に基づいて車両制御を行う車両制御装置に関する。
従来より、運転者の安全性向上のために、例えばプリクラッシュセーフティシステム(Pre-Crash Safety System:以下PCSと記載)が導入されている。
このPCSにおいては、例えばミリ波レーダセンサや白線認識カメラを用いて進路上にある車両や障害物を認知し、ドライビングサポートコンピュータが、対象物の位置・速度・進路から衝突不可避かどうかを判断する。そして、衝突不可避と判定された場合、ドライビングサポートコンピュータが、その情報をブレーキ制御ECU(Electronic Control Unit)やシートベルトコントロールコンピュータ等に送信し、ブレーキ制御やシートベルト振動等のプリクラッシュセーフティシステムの各制御を作動させる。
また、ドライバモニタカメラを用いてドライバの運転状態を監視して、脇見運転による前方不注意や、眼の閉状態が一定期間以上継続し衝突の可能性が検出される場合に、警報やブレーキ制御を行うドライバ状態監視装置が製品化されている。
そして、このような車両制御に関するPCSにおいては、衝突の可能性がある場合、または衝突不可避の場合に警報、シートベルト、ブレーキアシストや自動ブレーキ等のデバイスを、より早いタイミングで作動させることができれば運転者の安全性を高めることができる。
また、ドライバの注視する方向のみならず遠近をも考慮して適切な警報制御等を行う車両の運転支援装置が開示されている(例えば、特許文献1参照)。この運転支援装置は、ドライバの注視点から注視距離を求めて、注視距離より障害物の距離が近くなった場合に頻度の高い警報を行うものである。
さらに、運転者の脇見運転や居眠り運転を検出し、脇見運転や居眠り運転が行われていると判断されたときには許容相対速度を低くする補正をし、その補正した許容相対速度に基づいて警報を発する車両接近警報装置も開示されている(例えば、特許文献2参照)。
特開2007−94716号公報 特開平3−260900号公報
しかしながら、上記のドライバモニタカメラを用いてドライバの運転状況を監視して車両制御を行うシステムでは、カーブ路手前では、ドライバは安全確認のためカーブ路の先を見る傾向があり、ドライバモニタカメラにおいて顔向きが正面と設定されている角度範囲外となる場合ある。
そして、特にカーブ路手前ではステアリング操舵角がほぼ直進走行範囲のため、レーダ等の前方監視センサが前方のガードレールを衝突対象物と判断し、且つドライバの顔向きが非正面である脇見と誤判定されるために、ドライバにとって不要の警報が発せられるという問題がある。
本発明は以上の課題に鑑みてなされてものであり、特に車両の直進走行中からカーブ路への進入時において、ドライバがカーブ路の先を見て安全確認をしている場合でも、ドライバモニタカメラが脇見と誤判定して警報することを適切に防止するドライバ状態監視装置を提供することを目的とする。
また、このドライバ状態監視装置からの情報に基づいて、各種の車両制御を行う車両制御装置を提供することをも目的とする。
以上の課題を解決するために、本発明に係るドライバ状態監視装置は、ドライバの顔向き方向及び視線方向の少なくとも1つを検出するドライバ状態監視カメラと、車速を検出する車速検出手段と、車両の位置情報及び経路情報を含むナビゲーション情報を取得するナビゲーション情報取得手段と、上記ドライバ状態監視カメラから取得するドライバの顔向き方向又は視線方向、及び上記ナビゲーション情報取得手段で取得するナビゲーション情報に基づいて、上記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正する補正手段とを備えることを特徴とする。
この構成により、上記補正手段は、上記車速検出手段で検出する車速、上記ドライバ状態監視カメラから取得したドライバの顔向き方向又は視線方向、及び上記ナビゲーション情報取得手段で取得するカーブ情報に基づいて、上記ドライバ状態監視カメラのドライバの正面視線範囲を補正できるために、特に車両の直進走行中からカーブ路への進入時において、ドライバがカーブ路の先を見て安全確認をしている場合でも、ドライバ状態監視カメラにより脇見と誤判定されることを防止できる。
また、本発明に係るドライバ状態監視装置は、さらに、上記車速検出手段で検出される車速と、上記ドライバ状態監視カメラで検出されるドライバの顔向き方向又は視線方向と、上記ナビゲーション情報取得手段で取得するナビゲーション情報から予測される車両の予測軌道とに基づいて、ドライバの視線方向若しくは顔向き方向及び車両の上記予測軌道が交差する注視点に到達するまでの時間となるドライバの先読み時間を演算する先読み時間演算手段を備え、上記補正手段は、上記ナビゲーション情報取得手段で取得したナビゲーション情報に基づいて車両が直進走行からカーブ路への進入時若しくはカーブ路の走行中であると判定し、且つ上記先読み時間演算手段において演算した上記先読み時間が所定範囲内の場合に、上記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正することを特徴とする。
この構成により、上記補正手段は、車両が直進走行からカーブ路への進入時若しくはカーブ路の走行中であり、且つ上記先読み時間が所定範囲内であるドライバが脇見をしていない場合にのみ、上記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正することができる。
また、本発明に係るドライバ状態監視装置の上記補正手段は、上記ドライバ状態監視カメラにおけるドライバの正面視野範囲を車両が旋回する内側方向に所定角度シフトさせて補正、又は正面視野範囲を拡張して補正することを特徴とする。
さらに、本発明に係るドライバ状態監視装置の上記補正手段は、車両の現在位置の座標と上記注視点の座標との関係に基づいてドライバの正面視野範囲の補正値を算出することを特徴とする。
これらの構成により、上記補正手段は、ドライバの正面視野範囲を、所定角度において車両が旋回する内側方向にシフトさせて補正、又は正面視野範囲を拡張して補正することができ、特に車両の直進走行中からカーブ路への進入時において、ドライバがカーブ路の先を見て安全確認をしている場合でも、ドライバ状態監視カメラにより脇見と誤判定されることを防止できる。
また、本発明に係るドライバ状態監視装置の上記補正手段は、上記先読み時間が所定範囲の下限値未満の場合には、上記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正しないことを特徴とする。
この構成により、ドライバが先読み時間の短い近距離を見ている場合において、上記補正手段は、上記ドライバ状態監視カメラにおけるドライバの正面視野範囲の補正処理を行わない。
また、本発明に係るドライバ状態監視装置は、さらに、上記先読み時間演算手段において演算されたドライバ毎の先読み時間を学習値として記憶する記憶手段を備え、上記先読み時間演算手段は、さらに、上記車速検出手段で検出される車速と、上記ナビゲーション情報取得手段で取得するナビゲーション情報から取得するカーブ情報と、上記記憶手段に記憶されているドライバ毎の先読み時間の学習値とに基づいて、ドライバの先読み時間を決定することを特徴とする。
この構成により、以前に上記先読み時間演算手段において演算されたドライバの先読み時間を上記記憶手段に学習した履歴として保持しておき、上記先読み時間演算手段は、上記車速検出手段で検出される車速と、上記ナビゲーション情報取得手段で取得するナビゲーション情報から取得するカーブ情報から予測される車両の予測軌道とに基づいて、上記記憶手段に記憶し、学習されたドライバ毎の先読み時間を特定することができ、上記先読み時間演算部における演算処理負荷を軽減できる。
また、本発明に係る車両制御装置は、ドライバの顔向き方向及び視線方向の少なくとも1つを検出するドライバ状態監視カメラと、車両の位置情報及び経路情報を含むナビゲーション情報を取得するナビゲーション情報取得手段と、上記ドライバ状態監視カメラから取得するドライバの顔向き方向又は視線方向、及び上記ナビゲーション情報取得手段で取得するナビゲーション情報に基づいて、上記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正する補正手段と、上記ドライバ状態監視カメラにおいて正面視野範囲外にドライバの顔向き方向又は視線方向があると検出された場合に車両制御を行う電子制御手段とを備えることを特徴とする。
この構成により、上記補正手段は、上記ドライバ状態監視カメラから取得したドライバの顔向き方向、視線方向、及び上記ナビゲーション情報取得手段で取得するカーブ情報に基づいて、上記ドライバ状態監視カメラのドライバの正面視線範囲を補正できるために、特に車両の直進走行中からカーブ路への進入時において、ドライバがカーブ路の先を見て安全確認をしている場合でも、ドライバ状態監視カメラにより脇見と誤判定した警報を防止しつつ、各種の車両制御を実現できる。
なお、本発明に係るドライバ状態監視装置及び車両制御装置を構成する処理手段をステップとするドライバ状態監視方法及び車両制御方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、当該プログラムをDVD、CD−ROM等の記録媒体や通信ネットワーク等の伝送媒体を介して流通させることができるのは言うまでもない。
本発明に係るドライバ状態監視装置では、車速、ドライバモニタカメラから取得するドライバの顔向き方向や視線方向、及びナビゲーション情報等を用いて、ドライバモニタカメラの正面視野範囲を適宜補正できるために、特にカーブ路の進入時におけるドライバの安全確認を脇見と誤判定して警報が発せられることを防止できる。
実施の形態に係るドライバ状態監視装置を備える車両のカーブ路進入時の説明図 実施の形態に係るドライバ状態監視装置に備えられるドライバモニタカメラの外観図 実施の形態に係る車両制御装置の機能ブロック図 実施の形態に係るドライバ状態監視装置のドライバサポートECUの先読み時間演算部において演算されるドライバの先読み時間の説明図 実施の形態に係る車両制御装置の全体の動作手順を示すフローチャート
以下、本発明に係るドライバ状態監視装置及び車両制御装置の実施の形態について図面を参照しながら説明を行う。
(実施の形態)
図1は、本実施の形態に係るドライバ状態監視装置を備える車両10のカーブ路進入時の説明図である。
車両10が直進走行からカーブ路に進入する際、ドライバ11はカーブ路の先を見る場合(視線方向13)があり、ドライバモニタカメラにおいて顔向き方向・視線方向の正面視野範囲10a(ドライバの正面の視野中心方向12を0度とした時に、例えば−15°≦顔向き方向≦15°の領域)外に視線方向13があると判定される。
また、車両10に備わるミリ波レーダ等の前方監視センサは、ガードレール14等の反射物を障害物と判定し、また、カーブ路手前では、車両10に備わる舵角センサにより検知されるステアリング操舵角がほぼ直進走行範囲となるため、車両制御装置は、ドライバが脇見運転をし、且つ前方に障害物があると誤判定して不要な警報を発する。
そこで、本発明に係るドライバ状態監視装置及び車両制御装置においては、ナビゲーション情報から取得するカーブ路のカーブ半径やカーブ角度、車速センサから取得する車速、及びドライバモニタカメラを用いたドライバのカーブ路手前の直線走行中及びカーブ路走行中の顔向き方向や視線方向の情報に基づいてドライバ11の正面視野範囲10aを正面視野範囲10b(例えば−20°≦顔向き方向≦10°)に補正した後、ドライバモニタカメラがドライバ11の顔向き方向・視線方向の判定を行う。このため、カーブ路への進入時において、ドライバ11がカーブ路の先を見て安全確認をしている場合でも、ドライバモニタカメラにより脇見と誤判定して警報されることを適切に防止するものである。
図2は、本実施の形態に係るドライバ状態監視装置に備えられるドライバモニタカメラ101の外観図である。なお、本図に示すドライバモニタカメラ101の外観は一例である。
ドライバモニタカメラ101は、昼夜を問わずドライバ200の顔状態を認識できるものであり、例えば図2(a)に示すように、車内のコラムカバー上部に設けられている。そして、図2(b)に示すように、カメラ内部に近赤外線LED101cを内蔵し、このLED101cから発せられドライバ200の顔により反射した反射光は、可視光線が透過しにくい素材でできた外装受光面101dを通ることで近赤外線が主体となりレンズ104bを介して受光素子であるCCD101aに到達して光信号から電気信号に変換され、この電気信号に基づきドライバの顔状態の情報である顔向き方向や視線方向に関する情報が取得される。
なお、ドライバモニタカメラ101を用いる一般的な顔向き方向検出は、ドライバモニタECUが、ドライバモニタカメラ101より取得した画像から顔の左右両端の長い輪郭を検出して顔幅検出、白黒白エッジを利用して左右対称性を検証して顔部品(目、鼻、口)位置検出、顔中心を算出して顔の右領域と左領域の比率を角度に換算してドライバの顔向き方向を演算可能な所定アルゴリズムで算出する。
また、ドライバモニタカメラ101を用いる視線方向検出は、例えばドライバモニタECU102が、ドライバモニタカメラ101より取得したドライバの顔向き方向及びドライバの眼球の白黒白エッジ検出による眼球角度を組み合わせて演算する。
図3は、本実施の形態に係る車両制御装置100の機能ブロック図を示す。
車両制御装置100は、ドライバモニタカメラ101、ドライバモニタECU102、カメラやミリ波レーダの前方監視センサ103、ドライバサポートECU104、ナビゲーションECU105、ブレーキECU106、ブレーキアクチュエータ107、警報ブザー108、及び車速センサ109を備える。なお、これらの各処理部101から109は、通信線110及び111を介して接続され、互いに周辺監視CAN(Controller Area Network)や制御系CAN等の通信プロトコルに基づいて情報の送受信を行っている。
ドライバモニタカメラ101は、上述した図2に示すように昼夜を問わずドライバの顔状態を認識して、ドライバの顔向きや視線方向に関する画像情報をドライバモニタECU102に出力する。
ドライバモニタECU102は、半導体集積回路であり、顔向き度合い検知用マイコンや視線検知用マイコン等が搭載されている。このドライバモニタECU102は、ドライバモニタカメラ101に接続されて画像情報を取得すると共に、取得した画像情報に基づいて各マイコンが演算処理を行いドライバの顔向きや視線方向を検出して、検出結果をドライバサポートECU104に出力する。
前方監視センサ103には、車載カメラ、ミリ波レーダ、レーザレーダ等であり、衝突対象物を検出し、衝突対象物との距離・相対速度等を検出し、情報をドライバサポートECU104に送信する。例えば、車載カメラは、車体のフロントガラスの上部付近に設けられ、光による電荷量を光電変換してそれを順次読み出して電気信号に変換するCCD(charged coupled device)カメラ等であり、例えば障害物認識やレーンキープアシスト機能に用いられる。
また、ミリ波レーダは、波長が1〜10mm、周波数が非常に高い30〜300GHzのミリ波を用いて、レーダ前方、後方や側方の障害物までの距離を測定する距離測定機能や、障害物に対する速度を測定する速度測定機能を備え、警報、表示、危険回避等を援助する制御であるPCSや自動走行制御(ACC:Adaptive Cruise Control)などの車両制御を実現する。
ドライバサポートECU104は、ドライバモニタECU102や前方監視センサ103からの情報に基づき、ドライバの走行を支援するための各種の制御を行うためのマイコンを備える。また、本実施の形態においてドライバサポートECU104は、先読み時間演算部104a及び補正部104bを備えている。
先読み時間演算部104aは、ナビゲーションECU105から自車が走行予定の道路形状(カーブ半径、カーブ角度等)に関する情報、車速センサ109からの車速、ドライバモニタECU102から取得したドライバの顔向き方向や視線方向から後述する図4において説明する「ドライバの先読み情報」を演算すると共に、この演算したドライバの先読み時間をドライバ毎の学習値としてメモリ部に記憶する。
補正部104bは、先読み時間演算部104aで演算され、記憶されたドライバの先読み時間、走行予測されるカーブ路のカーブ半径、カーブ角度、車速等の情報に基づいて、ドライバの正面視野範囲の補正が必要な場合には補正後の正面視野範囲を演算する。また、ドライバサポートECU104は運転中に検出されたドライバの顔向き方向や視野方向が、設定された正面視野範囲外とされる場合には、ブレーキECU106に制御信号を送信して、警報ブザー108を用いて警報早出し等を実施する。
ブレーキECU106は、通信線111を介してドライバサポートECU104と接続され、ドライバサポートECU104からの衝突制御に関する情報に基づいてブレーキアクチュエータ107及び警報ブザー108を制御する。
ブレーキアクチュエータ107は、ブレーキECU106から送信される制御信号を受信して、その制御信号に基づくブレーキ制御を行う。また、警報ブザー108は、ブレーキECU106から送信される制御信号を受信して、その制御情報に基づく警告音を発する。
車速センサ109は、例えば磁気ロータの回転による磁気の変化をセンサで検出して車速パルスとしてブレーキECU106に出力して、ブレーキECU106において車速が算出される。
図4は、本実施の形態に係るドライバ状態監視装置のドライバサポートECU104の先読み時間演算部104aにおいて演算されるドライバの先読み時間の説明図である。
本実施の形態の説明における「ドライバの先読み時間」は、先読み時間演算部104aにおいて演算される車両10のドライバ11の視線方向41(又は顔向き方向41)とナビゲーション情報から取得するカーブ半径やカーブ角度から算出される車両10の予測軌道40とが交差する注視点42に車両10が到達すると予測される時間(例えば2秒)である。従って、先読み時間演算部104aは、車速センサ109から取得する車速、ドライバモニタECU102から取得するドライバ11の視線方向41(又は顔向き方向41)、ナビゲーションECU105から取得するカーブ情報に基づいて「ドライバの先読み時間」を算出することとなる。
なお、先読み時間演算部104aにおいて演算されたドライバ先読み時間をドライバサポートECU104内のメモリ部に蓄積して学習値として保存できる。このことにより、例えばAさんは、カーブ半径300mのカーブ路に進入する際の先読み時間は5秒等、ドライバ毎の履歴に応じて、ナビゲーションECU105において取得したカーブ半径やカーブ角度が学習値に収束していれば、演算処理を行うことなくドライバ毎にドライバ先読み時間を取得できる。
図5は、本実施の形態に係る車両制御装置の全体の動作手順を示すフローチャートである。
最初に、ドライバサポートECU104は、舵角センサやヨーレートセンサ(加速度センサ)から取得するセンサ情報及びナビゲーションECU105から取得するナビゲーション情報に基づいて、自車がカーブ路手前を直線路走行中か、若しくはカーブ路を走行中かを判定する(ステップS501)。
次に、自車がカーブ路手前の直線路を走行中、若しくはカーブ路走行中である場合には(ステップS501でYES)、ドライバサポートECU104の先読み時間演算部104aは、車速(km/h)、ナビゲーションECU105から取得した経路情報に基づく車両が進入するカーブ路のカーブ半径(m)、カーブ角度(deg)、及びドライバモニタカメラ101で検出されるドライバの顔向き方向(又は視線方向)(deg)を取得して(ステップS502)、これらの情報を用いて「ドライバの先読み時間」を算出する(ステップS503)。なお、自車がカーブ路手前の直線路を走行中、若しくはカーブ路走行中でない場合には(ステップS501でNO)、再度ステップS501以下の処理を繰り返す。
そして、ドライバサポートECU104は、演算されたドライバ先読み時間が、予め設定されている所定範囲(例えば2秒〜5秒の範囲)内か否かを判定する(ステップS504)。
次に、ドライバサポートECU104の補正部104bは、演算されたドライバの先読み時間が所定値の範囲内である場合には(ステップS504でYES)、ドライバ顔向き方向・視線方向の正面視野範囲を補正する(ステップS506)。
ここで補正部104bは、例えば、現在のドライバの位置座標をA(Ax,Ay)とし、先読み到達位置(図4の注視点42に相当)の座標をB(Bx,By)とした場合、先読み角度MをM=arctan(|Ax-Bx|/|Ay-By|)となるように正面角度の補正を行う。例えば、補正部104bは(I)M<0(ドライバの顔向きが左向きの場合)の場合にはM<−15の場合のみ補正を行い、M≦顔向き方向≦15+Mとなるように正面視野範囲を補正する。また、(II)M>0(ドライバの顔向きが右向きの場合)の場合にはM>15の場合のみ補正を行い、−15+M≦顔向き方向≦15となるように正面視野範囲を補正する。このように、先読み時間を演算することで、車両制御装置は、ドライバが脇見していないときに限って正面視野範囲を補正できる。
なお、補正部104bは、正面視野範囲を車両の旋回内側にシフトして補正(例えば、視線の正面視野範囲を30度とした場合に、−20°≦顔向き方向≦10°)する処理のみでなく、正面視野範囲を拡張して補正(例えば、−20°≦顔向き方向≦20°)する、若しくはこれらを併用することもできる。
次に、ドライバサポートECU104は、ドライバの先読み時間が所定の閾値未満の場合には(ステップS504で所定範囲の下限値未満となる場合)、ドライバ顔向き・視線方向正面視野範囲・固定値処理をして、特に正面視野範囲の補正を行うことはない(ステップS505)。そして、車両制御装置は、補正後の、若しくは補正されていない正面視野範囲に基づいてドライバの顔向き方向・視野方向の判定を行い(ステップS507)、正面視野範囲にない場合には(ステップS507でNO)、ドライバが脇見運転をしていると判定して、警報ブザーを発する処理を行う(ステップS508)。
また、ドライバサポートECU104は、演算されたドライバ先読み時間が所定範囲の以上の場合には(ステップS504で所定範囲の上限値以上となる場合)、ドライバが脇見運転をしていると判定して、警報ブザーを発する処理を行う(ステップS508)。
以上の説明のように、本発明に係るドライバ状態監視装置及び車両制御装置においては、車速、ドライバモニタカメラ101より取得するドライバの顔向き方向や視線方向、車速センサ109から取得する車速、及びナビゲーションECU105より取得するカーブ情報に基づいて、先読み時間演算部104aにおいてドライバ先読み時間を演算して、補正部104bでドライバモニタカメラ101の正面視野範囲を適宜補正できるために、特にカーブ路に進入する際において、ドライバのカーブ路先の安全確認を脇見と誤判定することがなくなり、不要な警報が発せられることを防止できる。
また、本発明に係るドライバ状態監視装置において、ドライバサポートECU104は、ドライバの先読み時間の検出・学習機能を備えているために、先読み時間演算部104aにおいて演算処理を行うことなく先読み時間を取得して、カーブ路手前・走行中のドライバの顔向き方向・視線方向の正面視野範囲に補正して誤警報を低減できる。
本発明に係るドライバ状態監視装置、及び車両制御装置は、例えば、車体に用いることができる。
100 車両制御装置
101 ドライバモニタカメラ
102 ドライバモニタECU
103 前方監視センサ
104 ドライバサポートECU
104a 先読み時間演算部
104b 補正部
105 ナビゲーションECU
106 ブレーキECU
107 ブレーキアクチュエータ
108 警報ブザー
109 車速センサ
110,111 通信線

Claims (11)

  1. ドライバの顔向き方向及び視線方向の少なくとも1つを検出するドライバ状態監視カメラと、
    車速を検出する車速検出手段と、
    車両の位置情報及び経路情報を含むナビゲーション情報を取得するナビゲーション情報取得手段と、
    前記車速検出手段で検出される車速、前記ドライバ状態監視カメラから取得するドライバの顔向き方向又は視線方向、及び前記ナビゲーション情報取得手段で取得するナビゲーション情報に基づいて、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正する補正手段と、
    前記車速検出手段で検出される車速と、前記ドライバ状態監視カメラで検出されるドライバの顔向き方向又は視線方向と、前記ナビゲーション情報取得手段で取得するナビゲーション情報から予測される車両の予測軌道とに基づいて、ドライバの視線方向若しくは顔向き方向及び車両の前記予測軌道が交差する注視点に到達するまでの時間となるドライバの先読み時間を演算する先読み時間演算手段とを備え、
    前記補正手段は、前記ナビゲーション情報取得手段で取得したナビゲーション情報に基づいて車両が直進走行からカーブ路への進入時若しくはカーブ路の走行中であることを判定し、且つ前記先読み時間演算手段において演算した前記先読み時間が所定範囲内の場合に、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正する
    ことを特徴とするドライバ状態監視装置。
  2. 前記補正手段は、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を車両が旋回する内側方向に所定角度シフトさせて補正、又は正面視野範囲を拡張して補正する
    ことを特徴とする請求項1記載のドライバ状態監視装置。
  3. 前記補正手段は、車両の現在位置の座標と前記注視点の座標との関係に基づいてドライバの正面視野範囲の補正値を算出する
    ことを特徴とする請求項1記載のドライバ状態監視装置。
  4. 前記補正手段は、前記先読み時間が所定範囲の下限値未満の場合には、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正しない
    ことを特徴とする請求項1記載のドライバ状態監視装置。
  5. 前記ドライバ状態監視装置は、さらに、
    前記先読み時間演算手段において演算されたドライバ毎の先読み時間を学習値として記憶する記憶手段を備え、
    前記先読み時間演算手段は、さらに、前記車速検出手段で検出される車速と、前記ナビゲーション情報取得手段で取得するナビゲーション情報から取得するカーブ情報と、前記記憶手段に記憶されているドライバ毎の先読み時間の学習値とに基づいて、ドライバの先読み時間を決定する
    ことを特徴とする請求項1記載のドライバ状態監視装置。
  6. ドライバの顔向き方向及び視線方向の少なくとも1つを検出するドライバ状態監視カメラと、
    車速を検出する車速検出手段と、
    車両の位置情報及び経路情報を含むナビゲーション情報を取得するナビゲーション情報取得手段と、
    前記車速検出手段において検出される車速、前記ドライバ状態監視カメラから取得するドライバの顔向き方向又は視線方向、及び前記ナビゲーション情報取得手段で取得するナビゲーション情報に基づいて、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正する補正手段と、
    前記ドライバ状態監視カメラにおいて正面視野範囲外にドライバの顔向き方向又は視線方向があると検出された場合に車両制御を行う電子制御手段と、
    前記車速検出手段で検出される車速と、前記ドライバ状態監視カメラで検出されるドライバの顔向き方向又は視線方向と、前記ナビゲーション情報取得手段で取得するナビゲーション情報から予測される車両の予測軌道とに基づいて、ドライバの視線方向若しくは顔向き方向及び車両の前記予測軌道が交差する注視点に到達するまでの時間となるドライバの先読み時間を演算する先読み時間演算手段とを備え、
    前記補正手段は、前記ナビゲーション情報取得手段で取得したナビゲーション情報に基づいて車両が直進走行からカーブ路への進入時若しくはカーブ路の走行中であると判定し、且つ前記先読み時間演算手段において演算した前記先読み時間が所定範囲内の場合に、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正し、
    前記電子制御手段は、前記ドライバ状態監視カメラにおいて正面視野範囲外にドライバの顔向き方向又は視線方向があると検出された場合に車両制御を行う
    ことを特徴とする車両制御装置。
  7. 前記補正手段は、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を車両が旋回する内側方向に所定角度シフトさせて補正、又は正面視野範囲を拡張して補正する
    ことを特徴とする請求項6記載の車両制御装置。
  8. 前記補正手段は、車両の現在位置の座標と前記注視点の座標との関係に基づいてドライバの正面視野範囲の補正値を算出する
    ことを特徴とする請求項6記載の車両制御装置。
  9. 前記補正手段は、前記先読み時間が所定範囲の下限値未満の場合には、前記ドライバ状態監視カメラにおけるドライバの正面視野範囲を補正しない
    ことを特徴とする請求項6記載の車両制御装置。
  10. 前記ドライバ状態監視装置は、さらに、
    前記先読み時間演算手段において演算されたドライバ毎の先読み時間を学習値として記憶する記憶手段を備え、
    前記先読み時間演算手段は、さらに、前記車速検出手段で検出される車速と、前記ナビゲーション情報取得手段で取得するナビゲーション情報から取得するカーブ情報と、前記記憶手段に記憶されているドライバ毎の先読み時間の学習値とに基づいて、ドライバの先読み時間を決定する
    ことを特徴とする請求項6記載の車両制御装置。
  11. ドライバの顔向き方向及び視線方向の少なくとも1つを検出するドライバ状態監視ステップと、
    車速を検出する車速検出ステップと、
    車両の位置情報及び経路情報を含むナビゲーション情報を取得するナビゲーション情報取得ステップと、
    前記ドライバ状態監視ステップにおいて取得するドライバの顔向き方向又は視線方向、及び前記ナビゲーション情報取得ステップにおいて取得するナビゲーション情報に基づいて、前記ドライバ状態監視ステップにおけるドライバの正面視野範囲を補正する補正ステップと、
    前記車速検出ステップにおいて検出される車速と、前記ドライバ状態監視ステップにおいて検出されるドライバの顔向き方向又は視線方向と、前記ナビゲーション情報取得ステップにおいて取得するナビゲーション情報から予測される車両の予測軌道とに基づいて、ドライバの視線方向若しくは顔向き方向及び車両の前記予測軌道が交差する注視点に到達するまでの時間となるドライバの先読み時間を演算する先読み時間演算ステップとを含み、
    前記補正ステップにおいては、前記ナビゲーション情報取得ステップにおいて取得したナビゲーション情報に基づいて車両が直進走行からカーブ路への進入時若しくはカーブ路の走行中であると判定し、且つ前記先読み時間演算ステップにおいて演算した前記先読み時間が所定範囲内の場合に、前記ドライバ状態監視ステップにおけるドライバの正面視野範囲を補正する
    ことを特徴とするドライバ状態監視方法。
JP2009107640A 2009-04-27 2009-04-27 ドライバ状態監視装置及び車両制御装置 Expired - Fee Related JP5353416B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009107640A JP5353416B2 (ja) 2009-04-27 2009-04-27 ドライバ状態監視装置及び車両制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009107640A JP5353416B2 (ja) 2009-04-27 2009-04-27 ドライバ状態監視装置及び車両制御装置

Publications (2)

Publication Number Publication Date
JP2010257293A JP2010257293A (ja) 2010-11-11
JP5353416B2 true JP5353416B2 (ja) 2013-11-27

Family

ID=43318110

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009107640A Expired - Fee Related JP5353416B2 (ja) 2009-04-27 2009-04-27 ドライバ状態監視装置及び車両制御装置

Country Status (1)

Country Link
JP (1) JP5353416B2 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5184596B2 (ja) 2010-09-03 2013-04-17 本田技研工業株式会社 脇見判定装置
KR101344885B1 (ko) * 2011-11-14 2013-12-26 주식회사 만도 차량의 안전 주행 장치 및 그 제어 방법
US20150066284A1 (en) * 2013-09-05 2015-03-05 Ford Global Technologies, Llc Autonomous vehicle control for impaired driver
JP6583144B2 (ja) * 2016-05-30 2019-10-02 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
JP6540663B2 (ja) * 2016-11-18 2019-07-10 トヨタ自動車株式会社 車両システム
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
JP6683185B2 (ja) * 2017-11-15 2020-04-15 オムロン株式会社 情報処理装置、運転者モニタリングシステム、情報処理方法、及び情報処理プログラム
CN109808698B (zh) * 2017-11-22 2020-11-03 上海汽车集团股份有限公司 一种速度的计算方法、装置及车载设备
CN110909718B (zh) * 2019-12-11 2024-04-19 深圳市锐明技术股份有限公司 驾驶状态识别方法、装置及车辆
JP2021144419A (ja) * 2020-03-11 2021-09-24 いすゞ自動車株式会社 安全運転判定装置
JP7302534B2 (ja) * 2020-06-01 2023-07-04 トヨタ自動車株式会社 状態判定装置および状態判定方法
KR102548813B1 (ko) * 2020-11-09 2023-06-29 주식회사 엘지유플러스 위험 경고 처리를 위한 장치 및 그 제어방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3247622B2 (ja) * 1996-11-07 2002-01-21 本田技研工業株式会社 車両制御装置
JP4186749B2 (ja) * 2003-08-11 2008-11-26 トヨタ自動車株式会社 脇見判定装置
JP4502844B2 (ja) * 2005-02-25 2010-07-14 アルパイン株式会社 警告装置及び警告方法
JP4835291B2 (ja) * 2006-07-12 2011-12-14 トヨタ自動車株式会社 車両用走行制御装置
JP4826506B2 (ja) * 2007-02-27 2011-11-30 日産自動車株式会社 視線推定装置

Also Published As

Publication number Publication date
JP2010257293A (ja) 2010-11-11

Similar Documents

Publication Publication Date Title
JP5353416B2 (ja) ドライバ状態監視装置及び車両制御装置
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
KR101996418B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
JP6369487B2 (ja) 表示装置
JP4852941B2 (ja) 車載警報装置
US8653961B2 (en) Vehicle display device and display method
US8630793B2 (en) Vehicle controller
JP4400624B2 (ja) 居眠り防止装置及び方法
JP5146243B2 (ja) 車線逸脱抑制装置
JP2007094716A (ja) 車両の運転支援装置
JP5401961B2 (ja) 操舵支援装置
WO2016151638A1 (ja) ドライバ支援システム
CN107111955B (zh) 操作控制装置
JP2007091025A (ja) 車両の前方監視装置
JP4647387B2 (ja) 車両の運転支援装置
JP4696792B2 (ja) 車載警報装置
JP4876772B2 (ja) 割込車両判定装置
JP2010039919A (ja) 注意喚起装置
JP2007072570A (ja) 脇見判定装置
JP5187215B2 (ja) ドライバ状態監視装置、及び衝突制御システム
JP2822508B2 (ja) 運転者の運転状態検出装置
KR20110062651A (ko) 차선 이탈 경보 방법
JP5040851B2 (ja) 脇見運転判定装置
US9963152B2 (en) Method and device for avoiding a tunnel vision
JP5289920B2 (ja) 車両用警報装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110901

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130618

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130712

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130730

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130812

R151 Written notification of patent or utility model registration

Ref document number: 5353416

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

LAPS Cancellation because of no payment of annual fees