JP4946672B2 - 脇見検出装置および方法、並びに、プログラム - Google Patents

脇見検出装置および方法、並びに、プログラム Download PDF

Info

Publication number
JP4946672B2
JP4946672B2 JP2007175780A JP2007175780A JP4946672B2 JP 4946672 B2 JP4946672 B2 JP 4946672B2 JP 2007175780 A JP2007175780 A JP 2007175780A JP 2007175780 A JP2007175780 A JP 2007175780A JP 4946672 B2 JP4946672 B2 JP 4946672B2
Authority
JP
Japan
Prior art keywords
person
range
driver
visual field
sight
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007175780A
Other languages
English (en)
Other versions
JP2009015550A (ja
Inventor
美希 松岡
丹一 安藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2007175780A priority Critical patent/JP4946672B2/ja
Priority to CNA2008101284626A priority patent/CN101336827A/zh
Priority to US12/167,022 priority patent/US20090009309A1/en
Priority to EP08104627A priority patent/EP2012286A3/en
Publication of JP2009015550A publication Critical patent/JP2009015550A/ja
Application granted granted Critical
Publication of JP4946672B2 publication Critical patent/JP4946672B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour

Description

本発明は、脇見検出装置および方法、並びに、プログラムに関し、特に、より的確に脇見を検出できるようにした脇見検出装置および方法、並びに、プログラムに関する。
近年、ドライバの運転中の脇見が原因となる事故が多発している。そこで、ドライバの脇見を検出し、脇見に対する警告を行う技術の開発が行われている。
例えば、ドライバの視線または顔の向きの少なくとも一方が進行方向を向いていない状態が、車両の走行速度に応じた時間だけ経過した場合、アラームを作動させることが提案されている(例えば、特許文献1参照)
特開2003−317197号公報
しかしながら、特許文献1に記載の発明では、ドライバの視線が進行方向を向いていても、顔が進行方向を向いていない場合、アラームが作動してしまうため、ドライバに煩わしさを感じさせてしまう。
本発明は、このような状況に鑑みてなされたものであり、より的確に脇見を検出できるようにするものである。
本発明の一側面の脇見検出装置は、人の視線の向きを基準とする第1の範囲を人の視野として検出するとともに、人の顔の向きと視線の向きのズレの大きさに応じて、第1の範囲の広さを調整する視野検出手段と、検出された人の視野に基づいて、人が脇見をしているか否かを判定する判定手段とを備える。
本発明の一側面の脇見検出装置においては、人の視線の向きを基準とする第1の範囲が人の視野として検出されるとともに、人の顔の向きと視線の向きのズレの大きさに応じて、第1の範囲の広さが調整され、検出された人の視野に基づいて、人が脇見をしているか否かが判定される。
従って、より的確に脇見を検出することができる。
この視野検出手段、判定手段は、例えば、CPU(Central Processing Unit)により構成される。
この視野検出手段には、人が運転する乗り物の速度に応じて、第1の範囲の広さを調整させることができる。
この判定手段には、所定の基準方向に対する人の顔の水平方向の向きが第2の範囲を超えている場合、人の視線の向きおよび視野に関わらず、脇見をしていると判定させることができる。
これにより、迅速に脇見を検出することができる。
本発明の一側面の脇見検出方法またはプログラムは、人の視線の向きを基準とする所定の範囲を人の視野として検出するとともに、人の顔の向きと視線の向きのズレの大きさに応じて、第1の範囲の広さを調整する視野検出ステップと、検出された人の視野に基づいて、人が脇見をしているか否かを判定する判定ステップとを含む。
本発明の一側面の脇見検出方法またはプログラムにおいては、人の視線の向きを基準とする第1の範囲が人の視野として検出されるとともに、人の顔の向きと視線の向きのズレの大きさに応じて、第1の範囲の広さが調整され、検出された人の視野に基づいて、人が脇見をしているか否かが判定される。
従って、より的確に脇見を検出することができる。
この視野検出ステップは、例えば、人の視線の向きを基準とする所定の範囲を人の視野としてCPUにより検出するとともに、人の顔の向きと視線の向きのズレの大きさに応じて、第1の範囲の広さを調整する視野検出ステップにより構成され、この定ステップは、例えば、検出された人の視野に基づいて、人が脇見をしているか否かをCPUにより判定する判定ステップにより構成される。
以上のように、本発明の一側面によれば、脇見を検出することができる。特に、本発明の一側面によれば、より的確に脇見を検出することができる。
以下、図を参照して、本発明の実施の形態について説明する。
図1は、本発明を適用した運転支援装置の一実施の形態を示すブロック図である。運転支援装置101は、運転支援装置101が設けられた車両(以下、自車とも称する)を運転するドライバの脇見の検出処理を行い、ドライバの脇見を検出した場合、脇見に対する処理を行うように自車に設けられている車載装置の制御を行う。運転支援装置101は、撮影部111、車速検出部112、脇見検出部113、および、車両制御部114を含むように構成される。
撮影部111は、例えば、カメラにより構成され、ほぼ正面方向からドライバの顔を撮影する。撮影部111は、撮影したドライバの顔を含む画像(以下、顔画像と称する)を、脇見検出部113の顔方向検出部121および視線方向検出部122に供給する。
車速検出部112は、例えば、速度センサにより構成され、自車の速度を検出する。車速検出部112は、検出した自車の速度を示す情報を、脇見検出部113の視野検出部123および判定部124に供給する。
脇見検出部113は、ドライバの脇見の検出処理を行う。脇見検出部113は、顔方向検出部121、視線方向検出部122、視野検出部123、および、判定部124を含むように構成される。
顔方向検出部121は、顔画像に基づいて、所定の手法を用いて、ドライバの顔の向きを検出する。顔方向検出部121は、ドライバの顔の向きを示す情報を、視野検出部123および判定部124に供給する。なお、顔方向検出部121が顔の向きを検出する手法は、特定の手法に限定されるものではなく、顔の向きをより迅速かつ正確に検出できる手法を適用することが望ましい。
視線方向検出部122は、顔画像に基づいて、所定の手法を用いて、ドライバの視線の向きを検出する。視線方向検出部122は、ドライバの視線の向きを示す情報を視野検出部123に供給する。なお、視線方向検出部122が視線の向きを検出する手法は、特定の手法に限定されるものではなく、視線の向きをより迅速かつ正確に検出できる手法を適用することが望ましい。
視野検出部123は、必要に応じて、ドライバの視線の向きの検出を視線方向検出部122に指示する。また、視野検出部123は、図2を参照して後述するように、ドライバの顔の向き、ドライバの視線の向き、および、自車の速度に基づいて、ドライバの視野を検出する。視野検出部123は、検出したドライバの視野を示す情報を判定部124に供給する。
判定部124は、必要に応じて、ドライバの視野の検出を視野検出部123に指示する。判定部124は、図2を参照して後述するように、ドライバの顔の向き、ドライバの視野、および、自車の速度に基づいて、ドライバが脇見をしているか否か、および、脇見をしていないが危険度が高い状態であるか否かを判定する。判定部124は、判定結果を示す情報を車両制御部114に供給する。
車両制御部114は、例えば、ECU(Electronic Control Unit)により構成される。車両制御部114は、ドライバの脇見または危険度が高い状態が検出された場合、それらに対する処理を行うように自車に設けられている車載装置の制御を行う。
なお、以下、ドライバの顔および視線の水平方向の向きを、自車の前方を基準方向とする角度により表す。具体的には、基準方向を0度とし、基準方向から左方向の角度を負の値で表し、基準方向から右方向の角度を正の値で表す。例えば、基準方向から左に30度の方向は−30度と表され、基準方向から右に30度の方向は+30度と表される。
また、同様に、以下、ある方向を基準とした場合に、基準となる方向から左方向の角度を負の値で表し、基準となる方向から左方向の角度を正の値で表す。例えば、ドライバの顔の向きを基準とした場合、ドライバの顔の向きから左に30度の方向は−30度と表され、基準方向から右に30度の方向は+30度と表される。
次に、図2のフローチャートを参照して、運転支援装置101により実行される運転支援処理について説明する。なお、この処理は、例えば、自車のエンジンが始動されたとき開始される。
ステップS1において、撮影部111は、撮影を開始する。具体的には、撮影部111は、ドライバの顔の撮影を開始し、撮影した顔画像の顔方向検出部121および視線方向検出部122への供給を開始する。
ステップS2において、車速検出部112は、自車の速度の検出を開始し、検出した速度を示す情報の視野検出部123および判定部124への供給を開始する。
ステップS3において、顔方向検出部121は、顔の向きを検出する。具体的には、顔方向検出部121は、顔画像に基づいて、ドライバの顔の向きを検出し、検出した顔の向きを示す情報を視野検出部123および判定部124に供給する。
ステップS4において、判定部124は、顔の向きが所定の範囲(以下、顔向き判定範囲と称する)内であるかを判定する。
ここで、顔向き判定範囲とは、ドライバが脇見をしているか否かを判定する基準となる顔の向きの範囲であり、判定部124は、ドライバの顔の向きが顔向き判定範囲外である場合、ドライバが脇見をしていると判定する。
なお、顔向き判定範囲の例については後述する。
ステップS4において、顔の向きが顔向き判定範囲内であると判定された場合、処理はステップS5に進む。
ステップS5において、視線方向検出部122は、視線の向きを検出する。具体的には、判定部124は、ドライバの視野の検出を視野検出部123に指示する。視野検出部123は、ドライバの視線の向きの検出を視線方向検出部122に指示する。視線方向検出部122は、顔画像に基づいて、ドライバの視線の向きを検出し、検出した視線の向きを示す情報を視野検出部123に供給する。
ステップS6において、視野検出部123は、視野を検出する。具体的には、視野検出部123は、ドライバの視線の向きを基準とする所定の水平方向の範囲(以下、視野範囲と称する)をドライバの視野として検出する。
ところで、「高田 一ほか、ドライバへの危険認知支援方法に関する研究、日本、学術講演会前刷集No.4-06、社団法人自動車技術会、2006年5月、11乃至16ページ」(以下、引用文献1と称する)に、ドライバがLED(Light Emitting Diode)の発光の検知に要する時間は、LEDの呈示位置がドライバの正面方向に対して左に20度乃至右に20度の範囲内である場合、呈示位置、色、LEDの直径の違いによる顕著な差は現れず、呈示位置がその範囲を超えると、呈示位置、色、LEDの直径の違いにより顕著な差が現れるという実験結果が報告されている。
例えば、この実験結果に基づいて、視野範囲の一例として、ドライバの視線の向きを中心とする−20度乃至+20度の範囲に設定することが考えられる。
また、顔の向きと視線の向きのズレが大きい場合、人の視野は鼻の影響などにより狭くなるため、顔の向きと視線の向きのズレの大きさに応じて視野範囲の広さを調整するようにしてもよい。例えば、ドライバの顔の向きと視線の向きの水平方向のズレの大きさが5度以上である場合、視野範囲をドライバの視線の向きを中心とする−15度乃至+15度の範囲に設定するようにしてもよい。あるいは、主に鼻による視野の狭小化を考慮して、ドライバの顔の向きと視線の向きの水平方向のズレの大きさが5度以上となった場合、ドライバの視線が顔の向きに対して左方向にずれているとき、視野範囲をドライバの視線の向きを基準とする−20度乃至+10度の範囲に設定し、ドライバの視線が顔の向きに対して右方向にずれている場合、視野範囲をドライバの視線の向きを基準とする−10度乃至+20度の範囲に設定するようにしてもよい。また、顔の向きと視線の向きのズレに応じて、視野範囲の広さをより細かく調整するようにしてもよい。
あるいは、ドライバの視野は、自車の速度が速くなるほど狭くなるため、自車の速度に応じて視野範囲の広さを調整するようにしてもよい。例えば、自車の速度が時速40km以下の場合、視野範囲をドライバの視線の向きを中心とする−50度乃至+50度の範囲に設定し、時速70km以下の場合、視野範囲をドライバの視線の向きを中心とする−32度乃至+32度の範囲に設定し、時速100km以下の場合、視野範囲をドライバの視線の向きを中心とする−20度乃至+20度の範囲に設定し、時速100kmを超えた場合、視野範囲をドライバの視線の向きを中心とする−10度乃至+10度の範囲に設定するようにしてもよい。
なお、以下、ドライバの顔の向きと視線の向きの水平方向のズレの大きさが5度未満である場合、視野範囲をドライバの視線の向きを中心とする−20度乃至+20度の範囲に設定し、ドライバの顔の向きと視線の向きの水平方向のズレの大きさが5度以上である場合、視野範囲をドライバの視線の向きを中心とする−15度乃至+15度の範囲に設定する場合の例について説明する。
視野検出部123は、検出したドライバの視野を示す情報を判定部124に供給する。
ステップS7において、判定部124は、注視すべき範囲が視野に含まれるかを判定する。判定部124は、運転中にドライバが注視すべき範囲として設定されている所定の範囲が、視野検出部123により検出されたドライバの視野に含まれる場合、注視すべき範囲が視野に含まれると判定し、処理はステップS8に進む。なお、以下、基準方向から−10度乃至+10度の範囲が、運転中にドライバが注視すべき範囲として設定されているものとする。
ステップS8において、判定部124は、注視すべき範囲が視野の端付近に偏っているかを判定する。具体的には、判定部124は、ドライバの視野の左端から右方向の所定の範囲(以下、左端視野範囲と称する)、および、視野の右端から左方向の所定の範囲(以下、右端視野範囲と称する)のいずれにも注視すべき範囲が含まれない場合、注視すべき範囲が視野の端付近に偏っていないと判定し、処理はステップS9に進む。
なお、以下、左端視野範囲をドライバの視野の左端から右方向に20度までの範囲とし、右端視野範囲をドライバの視野の右端から左方向に20度までの範囲とする場合の例について説明する。
図3は、ドライバの顔および視線の向きの例を示しており、図内の点線の矢印は自車の前方の方向である基準方向を示し、実線の矢印は視線の向きを示している。なお、後述す図4乃至図7においても、点線の矢印が基準方向を示し、実線の矢印が視線の向きを示すものとする。
例えば、図3に示されるように、ドライバの顔が0度の方向、かつ、ドライバの視線が0度の方向を向いている場合、ドライバの視野は、−20度から+20度までの範囲となる。このとき、注視すべき範囲である−10度から+10度が、左端視野範囲である−20度から0度までの範囲、および、右端視野範囲である0度から+20度までの範囲のいずれにも含まれないので、注視すべき範囲が視野の端付近に偏っていないと判定され、処理はステップS9に進む。
ステップS9において、判定部124は、脇見をしておらず安全な状態であると判定する。判定部124は、ドライバが脇見しておらず安全な状態であることを示す情報を車両制御部114に供給する。その後、処理はステップS13に進む。
一方、ステップS8において、判定部124は、左端視野範囲および右端視野範囲の少なくとも一方に注視すべき範囲が含まれる場合、注視すべき範囲が視野の端付近に偏っていると判定し、処理はステップS10に進む。
例えば、図4に示されるように、ドライバの顔が+15度の方向、かつ、ドライバの視線が−5度の方向を向いている場合、ドライバの視野は、−20度から+10度までの範囲となる。このとき、注視すべき範囲である−10度から+10度が、右端視野範囲である−10度乃至+10度の範囲に含まれるので、注視すべき範囲が視野の右端付近に偏っていると判定され、処理はステップS10に進む。
また、例えば、図5に示されるように、ドライバの顔が+25度の方向、かつ、ドライバの視線が+5度の方向を向いている場合、ドライバの視野は、−10度から+20度までの範囲となる。このとき、注視すべき範囲である−10度から+10度が、左端視野範囲である−10度乃至+10度の範囲に含まれるので、注視すべき範囲がドライバの視野の左端付近に偏っていると判定され、処理はステップS10に進む。
ステップS10において、判定部124は、脇見をしていないが危険度が高い状態であると判定する。人の視力は視野の端に近づくほど低下するので、判定部124は、注視すべき範囲がドライバの視野の端付近に偏っている場合、脇見をしていないが、注視すべき範囲が十分に見えていない可能性が高いため、危険度が高い状態であると判定する。判定部124は、ドライバが脇見していないが危険度が高い状態であることを示す情報を車両制御部114に供給する。その後、処理はステップS12に進む。
一方、ステップS7において、注視すべき範囲が視野に含まれないと判定された場合、処理はステップS11に進む。
例えば、図6に示されるように、ドライバの顔が0度の方向、かつ、ドライバの視線が−20度の方向を向いている場合、ドライバの視野は、−35度から−5度までの範囲となる。このとき、注視すべき範囲である−10度から+10度がドライバの視野に含まれないと判定され、処理はステップS11に進む。
ステップS11において、判定部124は、脇見をしていると判定する。判定部124は、ドライバが脇見をしていることを示す情報を車両制御部114に供給する。
また、ステップS4において、顔の向きが顔向き判定範囲外であると判定された場合、処理はステップS11に進み、ドライバの視線の向きおよび視野に関わらず、ステップS11において、脇見をしていると判定される。
ところで、「中越 聡ほか、ドライバの顔向きによる前方不注視の推定と警報反応時間の研究、日本、学術講演会前刷集No.58-06、社団法人自動車技術会、2006年5月、17乃至20ページ」(以下、引用文献2と称する)に、ドライバは、視対象物までの左右角度が20度を超えると、顔向き角度が眼球運動を上回り、顔を動かす傾向が顕著になるという実験結果が報告されている。
例えば、この実験結果に基づいて、ドライバの顔と視線の向きのズレの最大値を20度と考えた場合、ドライバの顔が−25度より左方向を向いている場合、ドライバの視線の向きは−5度より左方向になり、ドライバの視野は+10度より左方向の範囲となる。従って、ドライバの顔が−25度より左方向を向いている場合、注視すべき範囲である−10度乃至+10度の範囲がドライバの視野に含まれないことになる。同様に、ドライバの顔が+25度より右方向を向いている場合、ドライバの視線の向きは+5度より右方向になり、ドライバの視野は−10度より右方向の範囲となる。従って、ドライバの顔が+25度より右方向を向いている場合、注視すべき範囲である−10度乃至+10度の範囲がドライバの視野に含まれることがないことになる。
従って、顔向き判定範囲の一例として、基準方向から−25度乃至+25度の範囲に設定することが考えられる。
この場合、例えば、図7に示されるように、ドライバの顔が+30度の方向を向いている場合、ドライバの顔の向きが顔向き判定範囲に含まれないので、脇見をしていると判定される。なお、ドライバの顔が+30度の方向を向いている場合、引用文献2に示される実験結果によれば、ドライバの視線の向きは、最も左方向を向いたとしても+10度までと想定されるため、ドライバの視野は、最も左に位置したとしても−5度乃至+25度の範囲までと想定される。すなわち、ドライバの顔が+30度の方向を向いている場合、ドライバの視線が最も左方向を向いたとしても、注視すべき範囲が視野に含まれないと想定される。
ステップS12において、車両制御部114は、脇見に対応した処理を行う。例えば、車両制御部114は、ドライバの脇見が所定の第1の時間以上継続したり、脇見をしていないが危険度が高い状態が第1の時間より長い所定の第2の時間以上継続した場合、ドライバに対して注意を促す警告画面を自車に設けられている表示装置に表示させたり、注意を促す警報を自車に設けられているスピーカから出力させたりする。
ステップS13において、運転支援装置101は、処理を終了するか否かを判定する。処理を終了しないと判定された場合、処理はステップS3に戻り、ステップS13において、処理を終了すると判定されるまで、ステップS3乃至S13の処理が繰り返し実行される。
一方、ステップS13において、例えば、自車のエンジンが停止されたとき、運転支援装置101は、処理を終了すると判定し、運転支援処理は終了する。
以上のように、ドライバの顔または視線の向きだけでなく、ドライバの視野を用いて脇見を検出するようにすることにより、より的確に脇見を検出することができる。
また、本発明の実施の形態においては、顔の向きおよび視線の向きを検出する手法として従来の手法を用いることができ、他に複雑な処理を行う必要がないため、簡単に脇見の検出精度を向上させることができる。
なお、以上の説明では、車両を運転するドライバの脇見を検出する例を示したが、本発明は、上述した例以外にも、例えば、電車、航空機、船舶などの各種の乗り物を運転または操作する人、工作機械などの装置を操作する人など、所定の方向を注視する必要がある人の脇見を検出する場合にも適用することができる。
また、脇見をしているか否かを判定する場合に、顔が顔向き判定範囲外を向いている時間、または、注視すべき範囲が視野に含まれない状態が継続する時間を考慮するようにしてもよい。その場合、判定に用いる時間を、自車の速度、顔または視線の向きなどにより調整するようにしてもよい。
さらに、本発明の実施の形態において、顔および視線の向きを検出する手法は、画像を用いる手法に限定されるものではなく、例えば、ドライバの頭部に取り付けたセンサなどにより検出するようにしてもよい。
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
図8は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
コンピュータにおいて、CPU(Central Processing Unit)301,ROM(Read Only Memory)302,RAM(Random Access Memory)303は、バス304により相互に接続されている。
バス304には、さらに、入出力インタフェース305が接続されている。入出力インタフェース305には、キーボード、マウス、マイクロホンなどよりなる入力部306、ディスプレイ、スピーカなどよりなる出力部307、ハードディスクや不揮発性のメモリなどよりなる記憶部308、ネットワークインタフェースなどよりなる通信部309、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア311を駆動するドライブ310が接続されている。
以上のように構成されるコンピュータでは、CPU301が、例えば、記憶部308に記憶されているプログラムを、入出力インタフェース305及びバス304を介して、RAM303にロードして実行することにより、上述した一連の処理が行われる。
コンピュータ(CPU301)が実行するプログラムは、例えば、磁気ディスク(フレキシブルディスクを含む)、光ディスク(CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等)、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア311に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
そして、プログラムは、リムーバブルメディア311をドライブ310に装着することにより、入出力インタフェース305を介して、記憶部308にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部309で受信し、記憶部308にインストールすることができる。その他、プログラムは、ROM302や記憶部308に、あらかじめインストールしておくことができる。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
さらに、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
本発明を適用した運転支援装置の一実施の形態を示すブロック図である。 運転支援装置により実行される運転支援処理を説明するためのフローチャートである。 脇見の判定の例を説明するための図である。 脇見の判定の例を説明するための図である。 脇見の判定の例を説明するための図である。 脇見の判定の例を説明するための図である。 脇見の判定の例を説明するための図である。 パーソナルコンピュータの構成の例を示すブロック図である。
符号の説明
101 運転支援装置
111 撮影部
112 車速検出部
113 脇見検出部
114 車両制御部
121 顔方向検出部
122 視線方向検出部
123 視野検出部
124 判定部

Claims (5)

  1. 人の視線の向きを基準とする第1の範囲を前記人の視野として検出するとともに、前記人の顔の向きと視線の向きのズレの大きさに応じて、前記第1の範囲の広さを調整する視野検出手段と、
    検出された前記人の視野に基づいて、前記人が脇見をしているか否かを判定する判定手段と
    を含む脇見検出装置。
  2. 前記視野検出手段は、前記人が運転する乗り物の速度に応じて、前記第1の範囲の広さを調整する
    請求項1に記載の脇見検出装置。
  3. 前記判定手段は、所定の基準方向に対する前記人の顔の水平方向の向きが第2の範囲を超えている場合、前記人の視線の向きおよび視野に関わらず、脇見をしていると判定する
    請求項1に記載の脇見検出装置。
  4. 人の視線の向きを基準とする所定の範囲を前記人の視野として検出するとともに、前記人の顔の向きと視線の向きのズレの大きさに応じて、前記第1の範囲の広さを調整する視野検出ステップと、
    検出された前記人の視野に基づいて、前記人が脇見をしているか否かを判定する判定ステップと
    を含む脇見検出方法。
  5. 人の視線の向きを基準とする所定の範囲を前記人の視野として検出するとともに、前記人の顔の向きと視線の向きのズレの大きさに応じて、前記第1の範囲の広さを調整する視野検出ステップと、
    検出された前記人の視野に基づいて、前記人が脇見をしているか否かを判定する判定ステップと
    を含む処理をコンピュータに実行させるプログラム。
JP2007175780A 2007-07-04 2007-07-04 脇見検出装置および方法、並びに、プログラム Expired - Fee Related JP4946672B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2007175780A JP4946672B2 (ja) 2007-07-04 2007-07-04 脇見検出装置および方法、並びに、プログラム
CNA2008101284626A CN101336827A (zh) 2007-07-04 2008-07-01 斜视检测装置和方法、以及程序
US12/167,022 US20090009309A1 (en) 2007-07-04 2008-07-02 Apparatus, method and program for detecting act of looking aside
EP08104627A EP2012286A3 (en) 2007-07-04 2008-07-03 Apparatus, method and program for detecting act of looking aside

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007175780A JP4946672B2 (ja) 2007-07-04 2007-07-04 脇見検出装置および方法、並びに、プログラム

Publications (2)

Publication Number Publication Date
JP2009015550A JP2009015550A (ja) 2009-01-22
JP4946672B2 true JP4946672B2 (ja) 2012-06-06

Family

ID=39884023

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007175780A Expired - Fee Related JP4946672B2 (ja) 2007-07-04 2007-07-04 脇見検出装置および方法、並びに、プログラム

Country Status (4)

Country Link
US (1) US20090009309A1 (ja)
EP (1) EP2012286A3 (ja)
JP (1) JP4946672B2 (ja)
CN (1) CN101336827A (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8552850B2 (en) 2010-02-17 2013-10-08 Honeywell International Inc. Near-to-eye tracking for adaptive operation
JP4760999B1 (ja) * 2010-10-29 2011-08-31 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
JP4862955B1 (ja) * 2010-10-29 2012-01-25 オムロン株式会社 画像処理装置、画像処理方法、および制御プログラム
CN103843047A (zh) * 2011-10-06 2014-06-04 本田技研工业株式会社 警报装置
TW201501044A (zh) * 2013-06-24 2015-01-01 Utechzone Co Ltd 偵測臉部動作以產生訊號的裝置、方法以及電腦可讀取紀錄媒體
TWI510953B (zh) * 2013-12-20 2015-12-01 Wistron Corp 身份驗證防僞方法與應用此方法的身份驗證裝置
DE102014008687A1 (de) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Verfahren zur Darstellung von Fahrzeugumfeldinformationen eines Kraftfahrzeuges
JP6372388B2 (ja) * 2014-06-23 2018-08-15 株式会社デンソー ドライバの運転不能状態検出装置
JP6365438B2 (ja) * 2015-06-25 2018-08-01 マツダ株式会社 運転者状態判定方法及びその判定装置
US10486600B1 (en) * 2015-09-28 2019-11-26 Apple Inc. Systems for improving side-mirror functionality of a vehicle
JP2017151606A (ja) * 2016-02-23 2017-08-31 株式会社デンソー 脇見見落とし注意システム及びコンピュータプログラム
JP6485405B2 (ja) * 2016-05-25 2019-03-20 株式会社デンソー 安全運転支援装置及び安全運転支援プログラム
CN106618580B (zh) * 2016-12-23 2020-09-15 北京大学第一医院 一种斜视与眼球震颤头位检测方法、装置及系统
US10311726B2 (en) * 2017-07-21 2019-06-04 Toyota Research Institute, Inc. Systems and methods for a parallel autonomy interface
JP7180067B2 (ja) 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
JP6777060B2 (ja) * 2017-11-15 2020-10-28 オムロン株式会社 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム
DE102018127756A1 (de) * 2017-11-15 2019-05-16 Omron Corporation Fahrerüberwachungsvorrichtung, verfahren und programm

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0280124A1 (en) * 1987-02-12 1988-08-31 Omron Tateisi Electronics Co. Doze detector
JPS63222940A (ja) * 1987-03-11 1988-09-16 Hitachi Ltd 自動車安全走行支援方式
JPH06150199A (ja) * 1992-11-13 1994-05-31 Mitsubishi Electric Corp 車両予防安全装置
JPH06243398A (ja) * 1993-02-15 1994-09-02 Mitsubishi Electric Corp 車両予防安全装置
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
US6144755A (en) * 1996-10-11 2000-11-07 Mitsubishi Electric Information Technology Center America, Inc. (Ita) Method and apparatus for determining poses
US5916181A (en) * 1997-10-24 1999-06-29 Creative Sports Designs, Inc. Head gear for detecting head motion and providing an indication of head movement
US7523956B2 (en) * 1999-12-23 2009-04-28 Zumpano Bernard J Inflatable restraint assembly for vehicles
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
JP4882153B2 (ja) * 2001-02-19 2012-02-22 日産自動車株式会社 車輌用情報出力装置
US6496117B2 (en) * 2001-03-30 2002-12-17 Koninklijke Philips Electronics N.V. System for monitoring a driver's attention to driving
US6927694B1 (en) * 2001-08-20 2005-08-09 Research Foundation Of The University Of Central Florida Algorithm for monitoring head/eye motion for driver alertness with one camera
JP2003317197A (ja) 2002-04-26 2003-11-07 Aisin Aw Co Ltd 警報システム
JP4551766B2 (ja) * 2002-10-15 2010-09-29 ボルボ テクノロジー コーポレイション 被験者の頭及び目の動きを分析する方法及び装置
JP4300818B2 (ja) * 2002-11-25 2009-07-22 日産自動車株式会社 車載表示装置および携帯表示装置
JP4204336B2 (ja) * 2003-01-30 2009-01-07 富士通株式会社 顔の向き検出装置、顔の向き検出方法及びコンピュータプログラム
JP4123077B2 (ja) * 2003-06-27 2008-07-23 日産自動車株式会社 運転者状態検出装置
JP4370915B2 (ja) * 2004-01-14 2009-11-25 オムロン株式会社 車載アプリケーション選択システム及び車載アプリケーション選択装置
US8179435B2 (en) * 2005-09-28 2012-05-15 Nissan Motor Co., Ltd. Vehicle surroundings image providing system and method
JP4926437B2 (ja) * 2005-09-28 2012-05-09 富士重工業株式会社 車両の運転支援装置
JP5036814B2 (ja) * 2006-06-11 2012-09-26 ボルボ テクノロジー コーポレイション 視覚的関心場所の決定および分析のための方法および装置

Also Published As

Publication number Publication date
EP2012286A2 (en) 2009-01-07
US20090009309A1 (en) 2009-01-08
JP2009015550A (ja) 2009-01-22
CN101336827A (zh) 2009-01-07
EP2012286A3 (en) 2010-06-09

Similar Documents

Publication Publication Date Title
JP4946672B2 (ja) 脇見検出装置および方法、並びに、プログラム
JP4893507B2 (ja) 脇見検出装置および方法、並びに、プログラム
KR101867915B1 (ko) 차량에서 웨어러블 기기를 이용한 기능 실행 방법 및 이를 수행하는 차량
JP5082834B2 (ja) 脇見検出装置および方法、並びに、プログラム
JP2009015548A (ja) 運転支援装置および方法、並びに、プログラム
US20160152182A1 (en) Driving support device and driving support method
JP2007094618A (ja) 通知制御装置および方法、記録媒体、並びに、プログラム。
JP2010033106A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
JP2010018201A (ja) 運転者支援装置、運転者支援方法および運転者支援処理プログラム
US20190096359A1 (en) Display control device, display device, in-vehicle display system, and display control method
US20200042805A1 (en) Display control device, display control system, display control method, and non-transitory storage medium
JP2007286959A (ja) 運転支援装置
WO2022198907A1 (zh) 车辆显示屏的控制方法及装置、设备、介质及车辆
US10272922B2 (en) Driving support device and driving support method
JP2008186281A (ja) 車両用警報表示装置
US10726728B2 (en) System and method for controlling movable body
JP6811743B2 (ja) 安全運転支援装置
JP2009134589A (ja) 運転支援装置
JP2007233477A (ja) 車両用警報装置
WO2017096821A1 (zh) 安全驾驶检测方法及装置
US20200023863A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
US9428221B2 (en) Drive assist control device
WO2022044394A1 (ja) オブジェクト認識制御装置、およびオブジェクト認識方法
JP2019111948A (ja) 車両用情報表示装置
US11842661B2 (en) Control method and information display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100511

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20111124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120207

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 4946672

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees