JP6777060B2 - 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム - Google Patents

脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム Download PDF

Info

Publication number
JP6777060B2
JP6777060B2 JP2017219838A JP2017219838A JP6777060B2 JP 6777060 B2 JP6777060 B2 JP 6777060B2 JP 2017219838 A JP2017219838 A JP 2017219838A JP 2017219838 A JP2017219838 A JP 2017219838A JP 6777060 B2 JP6777060 B2 JP 6777060B2
Authority
JP
Japan
Prior art keywords
region
determination
driver
vehicle
turn signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017219838A
Other languages
English (en)
Other versions
JP2019091263A (ja
Inventor
相澤 知禎
知禎 相澤
匡史 日向
匡史 日向
初美 青位
初美 青位
義朗 松浦
義朗 松浦
将士 田中
将士 田中
啓輔 横田
啓輔 横田
齋藤 尚
尚 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp filed Critical Omron Corp
Priority to JP2017219838A priority Critical patent/JP6777060B2/ja
Priority to DE102018216022.8A priority patent/DE102018216022A1/de
Priority to CN201811128635.4A priority patent/CN109795499A/zh
Priority to US16/143,452 priority patent/US20190147266A1/en
Publication of JP2019091263A publication Critical patent/JP2019091263A/ja
Application granted granted Critical
Publication of JP6777060B2 publication Critical patent/JP6777060B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75Determining position or orientation of objects or cameras using feature-based methods involving models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/19Sensors therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • G06V40/193Preprocessing; Feature extraction
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/149Instrument input by detecting viewing direction not otherwise provided for
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/178Warnings
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/20Direction indicator values
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404Characteristics
    • B60W2554/4047Attentiveness, e.g. distracted by mobile phone
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • G06T2207/10021Stereoscopic video; Stereoscopic image sequence
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)

Description

この発明は、車両の運転者の脇見を判定する脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラムに関する。
特許文献1に開示されているように、運転者の顔を撮像し、画像処理装置により顔の向きを求め、脇見状態であることを判定する技術の開発が進められている。特許文献1に開示されている技術は、車両状態に応じて、脇見運転の検出感度を変更している。
特開2001−138767号公報
運転者が注視する方向は、一般的に、車両の進行方向に応じて異なる。例えば、運転者が横方向を見る行為は、車両が直進走行しているときには脇見となり得るが、車両の進行方向を変化させたときには意図を持った注視であり得、脇見とはなり得ない。
しかしながら、特許文献1には、このような車両の進行方向を考慮して脇見状態の判定基準を変えることについては開示されていない。
本発明の目的は、上記事情に着目してなされたもので、車両の進行方向が変化するときの脇見判定の精度を向上させる技術を提供することである。
本開示の第1の態様は、運転者の視線または顔の向きを示す第1の情報を取得する第1の取得部と、方向指示器の動作を示す第2の情報を取得する第2の取得部と、前記第1の情報が示す視線または顔の向きを、方向または時間で決められる所定の基準と比較することにより脇見を判定する判定部であって、前記第2の情報が示す前記動作に応じて前記基準が異なる判定部とを具備する脇見判定装置である。
第1の態様によれば、脇見判定装置は、以下で説明するように、車両の進行方向が変化するときの脇見判定の精度を向上させることができる。例えば、運転者は、左折、右折、車線変更または路肩等に停車しようとする際に自身の意思で方向指示器を動作させるため、直進時とは異なる方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置は、このような運転者の行動を脇見と誤判定することを低減し、脇見判定の精度を向上させることができる。
本開示の第2の態様は、上記第1の態様において、前記方向指示器の動作期間に、前記基準を変更する判定基準変更部をさらに備えるようにしたものである。
第2の態様によれば、脇見判定装置は、以下で説明するように、方向指示器の動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、方向指示器の動作期間には、直進時とは異なる方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置は、脇見運転と判定するために設定された基準を変更することで、このような運転者の行動を脇見と誤判定することを低減し、脇見判定の精度を向上させることができる。
本開示の第3の態様は、上記第2の態様において、前記方向指示器が、右側方向指示器と左側方向指示器とを含み、前記判定基準変更部が、前記左側方向指示器の動作期間に、車両の左方について前記基準を変更し、又は前記右側方向指示器の動作期間に、前記車両の右方について前記基準を変更するようにしたものである。
第3の態様によれば、脇見判定装置は、以下で説明するように、左側方向指示器または右側方向指示器の動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、自身の意思で動作させた方向指示器の示す方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置は、左側方向指示器または右側方向指示器の動作期間に、このような運転者の行動を脇見と誤判定することを低減し、脇見判定の精度を向上させることができる。
本開示の第4の態様は、上記第3の態様において、前記判定部が、前記運転者の視線または顔の向きが、前記運転者から前記車両の前方に向けて広がる仮想的な第1の領域に位置する場合、前記運転者が脇見をしていないと判定し、前記運転者の視線または顔の向きが、前記第1の領域に隣接する領域であって前記運転者から前記車両の左方に向けて広がる仮想的な第2の領域に第1の時間よりも長い時間留まっている場合、又は前記第1の領域に隣接する領域であって前記運転者から前記車両の右方に向けて広がる仮想的な第3の領域に第2の時間よりも長い時間留まっている場合、前記運転者が脇見をしていると判定するようにしたものである。
第4の態様によれば、脇見判定装置は、運転者の位置を基準とした車両の前方、左方及び右方に仮想的な領域を設定して運転者の脇見を判定することで、脇見判定の精度を向上させることができる。
本開示の第5の態様は、上記第4の態様において、前記判定基準変更部が、前記左側方向指示器の動作開始に応じて、前記第1の領域と前記第2の領域との境界を前記左側方向指示器及び前記右側方向指示器の非動作時における位置よりも前記運転者から見て左回りに回転させた位置へ移動し、又は、前記右側方向指示器の動作開始に応じて、前記第1の領域と前記第3の領域との境界を前記左側方向指示器及び前記右側方向指示器の非動作時における位置よりも前記運転者から見て右回りに回転させた位置へ移動するようにしたものである。
第5の態様によれば、脇見判定装置は、以下で説明するように、領域間の境界の位置を移動させることで、左側方向指示器または右側方向指示器の動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、自身の意思で動作させた方向指示器の示す方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置は、左側方向指示器または右側方向指示器の動作期間に、運転者の視線または顔の向きを、領域間の境界の位置を移動させた判定基準で評価することで、脇見判定の精度を向上させることができる。
本開示の第6の態様は、上記第4の態様において、前記判定基準変更部が、前記左側方向指示器の動作開始に応じて、前記第1の時間を長くし、又は、前記右側方向指示器の動作開始に応じて、前記第2の時間を長くするようにしたものである。
第6の態様によれば、脇見判定装置は、以下で説明するように、運転者の視線または顔の向きが一定の範囲に留まり続けることを許容する時間を長くすることで、左側方向指示器または右側方向指示器の動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、自身の意思で動作させた方向指示器の示す方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置は、左側方向指示器または右側方向指示器の動作期間に、運転者の視線または顔の向きを、一定の範囲に留まり続けることを許容する時間を長くした判定基準で評価することで、脇見判定の精度を向上させることができる。
本開示の第7の態様は、第3の態様から第6の態様のうちの何れかにおいて、前記車両の走行状態を示す第3の情報を取得する第3の取得部をさらに備え、前記判定基準変更部が、前記車両の走行中には、前記左側方向指示器の動作開始に応じて前記基準を変更し、又は前記右側方向指示器の動作開始に応じて前記基準を変更し、前記車両の停止中には、前記基準の変更を無効にするようにしたものである。
第7の態様によれば、脇見判定装置は、以下で説明するように、車両の停止中には、左側方向指示器または右側方向指示器の動作期間であっても、運転者が脇見をしているか否かを適切に判定することができる。例えば、運転者が歩行者の横断待ちまたは信号待ちなどの理由で車両を停止させている間は、運転者は、左側方向指示器または右側方向指示器の動作期間であっても、車両の左方または右方よりも車両の前方に視線または顔を向けることが好ましい。そのため、脇見判定装置は、このような状況下では、車両の左方または右方の判定基準の変更を無効にすることで、運転者が脇見をしているか否かを適切に判定することができる。
本開示の第8の態様は、前記運転者が脇見をしていることを示す判定結果に基づいて、前記運転者に対する支援の実行を指示する指示信号を出力する出力部をさらに備える第1の態様から第7の態様のうちの何れかの脇見判定装置と、前記指示信号に基づいて、前記運転者に対する支援を実行する支援提供装置とを具備する運転支援システムである。
第8の態様によれば、運転支援システムは、運転者が脇見をしている場合に、運転者に対して例えば警告などの支援を実行することができる。その結果、運転者は、脇見をしていることを認識し、運転に集中し直すことができる。
本開示の第9の態様は、運転者の視線または顔の向きを示す第1の情報を取得する第1の取得過程と、方向指示器の動作を示す第2の情報を取得する第2の取得過程と、前記第1の情報が示す視線または顔の向きを、方向または時間で決められる所定の基準と比較することにより脇見を判定する判定過程であって、前記第2の情報が示す前記動作に応じて前記基準が異なる判定過程とを具備する脇見判定方法である。
第9の態様によれば、脇見判定方法は、上述の第1の態様と同様の効果を得ることができる。
本開示の第10の態様は、第1の態様から第7の態様のうちの何れかの脇見判定装置が備える各部の処理をコンピュータに実行させる脇見判定のためのプログラムである。
第10の態様によれば、脇見判定のためのプログラムは、上述の第1の態様と同様の効果を得ることができる。
本発明によれば、車両の進行方向が変化するときの脇見判定の精度を向上させる技術を提供することができる。
本実施形態に係る脇見判定装置の適用例を模式的に示す図。 本実施形態に係る脇見判定装置を備える車両の全体構成を例示する図。 本実施形態に係る脇見判定装置のハードウェア構成を例示するブロック図。 本実施形態に係る通常時判定基準を模式的に例示する図。 本実施形態に係る脇見判定装置のソフトウェア構成を例示するブロック図。 本実施形態に係る左方向用判定基準を模式的に例示する図。 本実施形態に係る右方向用判定基準を模式的に例示する図。 本実施形態に係る脇見判定装置による脇見判定動作を例示するフローチャート。 本実施形態に係る脇見判定装置による判定基準の変更動作の一例を示すフローチャート。 本実施形態の脇見判定装置による判定基準の変更動作の別の例を示すフローチャート。
以下、本開示に係る実施の形態(以下、「本実施形態」とも表記する)を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において例示に過ぎない。なお、以降、説明済みの要素と同一または類似の要素には同一または類似の符号を付し、重複する説明については基本的に省略する。なお、本実施形態において登場するデータは、自然言語により説明されるが、より具体的には、疑似言語、コマンド、パラメータ、マシン語などで指定される。
§1 適用例
本実施形態は、運転者の操作に基づく左側方向指示器または右側方向指示器の動作期間に、脇見運転と判定するために設定された判定基準を変更する技術である。判定基準は、方向または時間で決められる。方向は、運転者の位置を基準とした方向である。時間は、運転者の視線または顔の向きが一定の範囲に留まり続けることを許容する時間である。
図1は、車両1に搭載される脇見判定装置2の適用例を模式的に示す図である。図1は、右ハンドルの車両1を上から見た図である。放射状の実線は、仮想的な領域A1、A2及びA3の境界を示している。破線は、車両1の幅方向の中心を示している。一点鎖線は、車両1の直進方向を示している。
第1の領域A1は、運転者から車両1の前方に向けて第1の角度θ1で水平に広がる仮想的な領域である。脇見判定装置2は、運転者の視線または顔の向きが第1の領域Aに位置する場合、運転者が脇見をしていないと判断する。第2の領域A2は、第1の領域A1に隣接する領域であって運転者から車両1の左方に向けて第2の角度θ2で水平に広がる仮想的な領域である。第2の領域A2は、運転者の視線または顔の向きが留まり続けることを許容する第1の時間に関連付けられている。脇見判定装置2は、運転者の視線または顔の向きが第2の領域A2に第1の時間よりも長い時間留まっている場合、運転者が脇見をしていると判定する。第3の領域A3は、第1の領域A1に隣接する領域であって運転者から車両1の右方に向けて第3の角度θ3で水平に広がる仮想的な領域である。第3の領域A3は、運転者の視線または顔の向きが留まり続けることを許容する第2の時間に関連付けられている。脇見判定装置2は、運転者の視線または顔の向きが第3の領域A3に第2の時間よりも長い時間留まっている場合、運転者が脇見をしていると判定する。
脇見判定装置2は、運転者の視線または顔の向きを、判定基準と比較することにより運転者の脇見を判定する。脇見判定装置2は、以下に例示するように、左側方向指示器または右側方向指示器の動作期間に、判定基準を変更する。
脇見判定装置2は、左側方向指示器の動作期間に、車両1の左方について判定基準を変更する。脇見判定装置2は、左側方向指示器の動作開始に応じて、第1の領域A1と第2の領域A2との境界を左側方向指示器及び右側方向指示器の非動作時における位置よりも運転者から見て左回りに回転させた位置へ移動する。脇見判定装置2は、例えば、第1の領域A1と第3の領域A3との境界の位置及び第2の領域A2における第1の領域A1と第2の領域A2との境界とは反対側の端部の位置を変更することなく、第1の領域A1の第1の角度θ1の大きさを大きくし、第2の領域A2の第2の角度θ2の大きさを小さくする。この処理は、判定基準に含まれる運転者の位置を基準とした方向の変更ということもできる。これにより、車両1の左方は、運転者が脇見をしていると判定され難くなる。これと共にまたはこれに代えて、脇見判定装置2は、左側方向指示器の動作開始に応じて、第2の領域A2において第1の時間を長くする。この処理は、判定基準に含まれる許容時間の変更ということもできる。これにより、車両1の左方は、運転者が脇見をしていると判定され難くなる。
脇見判定装置2は、右側方向指示器の動作期間に、車両1の右方について判定基準を変更する。脇見判定装置2は、右側方向指示器の動作開始に応じて、第1の領域A1と第3の領域A3との境界を左側方向指示器及び右側方向指示器の非動作時における位置よりも運転者から見て右回りに回転させた位置へ移動する。脇見判定装置2は、例えば、第1の領域A1と第2の領域A2との境界の位置及び第3の領域A3における第1の領域A1と第3の領域A3との境界とは反対側の端部の位置を変更することなく、第1の領域A1の第1の角度θ1の大きさを大きくし、第3の領域A3の第3の角度θ3の大きさを小さくする。この処理は、判定基準に含まれる運転者の位置を基準とした方向の変更ということもできる。これにより、車両1の右方は、運転者が脇見をしていると判定され難くなる。これと共にまたはこれに代えて、脇見判定装置2は、右側方向指示器の動作開始に応じて、第3の領域A3において第2の時間を長くする処理を実行する。この処理は、判定基準に含まれる許容時間の変更ということもできる。これにより、車両1の右方は、運転者が脇見をしていると判定され難くなる。
以上のとおり、脇見判定装置2は、車両1の進行方向が変化するときの脇見判定の精度を向上させることができる。
§2 構成例
<車両>
図2は、脇見判定装置2を備える車両1の全体構成を例示する図である。車両1は、例えば、自動車、バス、トラック及び電車等のうちの何れかであっても、これら以外の運転者が乗る乗り物であってもよい。
車両1は、脇見判定装置2と、パワーユニット3と、操舵装置4と、ステアリングホイール5と、車外撮影カメラ6と、方向指示器スイッチ7Aと、リレー回路7Bと、左側方向指示器7Cと、右側方向指示器7Dと、方向指示器センサ8Aと、ステアリングセンサ8Bと、アクセルペダルセンサ8Cと、ブレーキペダルセンサ8Dと、車外センサ8Eと、ヨーレートセンサ8Fと、横加速度センサ8Gと、ジャイロセンサ8Hと、車速センサ8Iと、制御装置9と、GPS(Global Positioning System)受信機10と、アンテナ装置11と、ナビゲーション装置12と、音声出力装置13と、ドライバカメラ14とを備える。
脇見判定装置2は、運転者の視線または顔の向きと、脇見運転と判定するために設定された判定基準とに基づいて、運転者が脇見をしているか否かを判定する。判定基準は、方向または時間で決められる。方向は、運転者の位置を基準とした方向である。時間は、運転者の視線または顔の向きが一定の範囲に留まり続けることを許容する時間(以下、許容時間とも称する)である。判定基準の例については後述する。脇見は、よそ見ということもできる。
脇見判定装置2の構成については後述する。
パワーユニット3は、動力源と、変速装置とを備える。動力源は、エンジン、モータまたはこれら両方を備える。
操舵装置4は、車両1の進行方向を変更させる装置である。
ステアリングホイール5は、操舵装置4に接続されている。ステアリングホイール5は、運転者が車両1の進行方向を変更するために操作する要素である。
車外撮影カメラ6は、車両1の外部を撮影する。車外撮影カメラ6は、例えば、車両1の前方を連続的に撮影する。車外撮影カメラ6は、撮影した画像(以下、車外画像データとも称する)を制御装置9へ出力する。車外撮影カメラ6は、車両1の任意の位置に設置されている。なお、図1には1つの車外撮影カメラ6を示しているが、車両1は、異なる方向を撮影する複数の車外撮影カメラ6を備えていてもよい。
方向指示器スイッチ7Aは、運転者が車両1の進行方向を変更する際に左側方向指示器7Cまたは右側方向指示器7Dを動作させるために操作する要素である。運転者は、車両1の進行方向を左方向へ変更する際、方向指示器スイッチ7Aを手動で初期位置から第1の位置へ切り替える。運転者は、車両1の進行方向を右方向へ変更する際、方向指示器スイッチ7Aを手動で初期位置から第2の位置へ切り替える。方向指示器スイッチ7Aは、運転者の手動での切り替えにより、第1の位置から初期位置または第2の位置から初期位置へ戻る。これとは別に、方向指示器スイッチ7Aは、運転者が左回転させたステアリングホイール5を元の位置へ戻すことに連動して、第1の位置から初期位置へ戻る。同様に、方向指示器スイッチ7Aは、運転者が右回転させたステアリングホイール5を元の位置へ戻すことに連動して、第2の位置から初期位置へ戻る。
リレー回路7Bは、方向指示器スイッチ7Aの位置に応じて、左側方向指示器7Cまたは右側方向指示器7Dへ通電する。リレー回路7Bは、方向指示器スイッチ7Aの初期位置から第1の位置への切り替えに応じて、左側方向指示器7Cへの通電を開始する。リレー回路7Bは、方向指示器スイッチ7Aが第1の位置にある間、左側方向指示器7Cへの通電を継続する。リレー回路7Bは、方向指示器スイッチ7Aの第1の位置から初期位置への切り替えに応じて、左側方向指示器7Cへの通電を終了する。同様に、リレー回路7Bは、方向指示器スイッチ7Aの初期位置から第2の位置への切り替えに応じて、右側方向指示器7Dへの通電を開始する。リレー回路7Bは、方向指示器スイッチ7Aが第2の位置にある間、右側方向指示器7Dへの通電を継続する。リレー回路7Bは、方向指示器スイッチ7Aの第2の位置から初期位置への切り替えに応じて、右側方向指示器7Dへの通電を終了する。
左側方向指示器7Cは、リレー回路7Bに接続されている。左側方向指示器7Cは、例えば電球またはLED(Light Emitting Diode)を含む。左側方向指示器7Cは、例えば車両1の左方に設けられている。なお、図1には1つの左側方向指示器7Cが示されているが、車両1は、左前の端部及び左後の端部といった複数の位置のそれぞれに左側方向指示器7Cを備える。左側方向指示器7Cは、リレー回路7Bを介して通電することで点滅する。
右側方向指示器7Dは、リレー回路7Bに接続されている。右側方向指示器7Dは、例えば電球またはLEDを含む。右側方向指示器7Dは、例えば車両1の右方に設けられている。なお、図1には1つの右側方向指示器7Dが示されているが、車両1は、右前の端部及び右後の端部といった複数の位置のそれぞれに右側方向指示器7Dを備える。右側方向指示器7Dは、リレー回路7Bを介して通電することで点滅する。
方向指示器センサ8Aは、リレー回路7Bに設けられている。方向指示器センサ8Aは、リレー回路7Bの左側方向指示器7Cへの通電状況に応じて、左側方向指示器7Cの動作の開始及び終了を検出する。方向指示器センサ8Aは、リレー回路7Bの右側方向指示器7Dへの通電状況に応じて、右側方向指示器7Dの動作の開始及び終了を検出する。方向指示器センサ8Aは、方向指示器の動作を示す検出情報を脇見判定装置2及び制御装置9へ出力する。ここで、方向指示器は、左側方向指示器7Cと右側方向指示器7Dとを含む。方向指示器の動作を示す検出情報は、左側方向指示器7Cの動作開始、左側方向指示器7Cの動作終了、右側方向指示器7Dの動作開始または右側方向指示器7Dの動作終了の何れかを示す。
ステアリングセンサ8Bは、操舵角を検出する。ステアリングセンサ8Bは、操舵角を示す検出情報を制御装置9へ出力する。
アクセルペダルセンサ8Cは、アクセルペダルの操作量を検出する。アクセルペダルセンサ8Cは、アクセルペダルの操作量を示す検出情報を制御装置9へ出力する。
ブレーキペダルセンサ8Dは、ブレーキペダルの操作量を検出する。ブレーキペダルセンサ8Dは、ブレーキペダルの操作量を示す検出情報を制御装置9へ出力する。
車外センサ8Eは、例えばミリ波センサである。車外センサ8Eは、車両1の外部の物体の位置を検出する。車外センサ8Eは、物体の位置を示す検出情報を制御装置9へ出力する。
ヨーレートセンサ8Fは、車両1の鉛直軸回りの回転角速度を検出する。ヨーレートセンサ8Fは、回転角速度を示す検出情報を制御装置9へ出力する。
横加速度センサ8Gは、車両1の横方向(幅方向)における加速度(以下、横加速度とも称する)を検出する。横加速度センサ8Gは、横加速度を示す検出情報を制御装置9へ出力する。
ジャイロセンサ8Hは、車両1の挙動を検出する。ジャイロセンサ8Hは、車両1の挙動に関する量を示す検出情報を制御装置9へ出力する。
車速センサ8Iは、車両1の速度を検出する。車速センサ8Iは、速度を示す検出情報を脇見判定装置2及び制御装置9へ出力する。
制御装置9は、車外撮影カメラ6からの車外画像データと、方向指示器センサ8Aからの検出情報と、ステアリングセンサ8Bからの検出情報と、アクセルペダルセンサ8Cからの検出情報と、ブレーキペダルセンサ8Dからの検出情報と、車外センサ8Eからの検出情報と、ヨーレートセンサ8Fからの検出情報と、横加速度センサ8Gからの検出情報と、ジャイロセンサ8Hからの検出情報と、車速センサ8Iからの検出情報とを取得する。制御装置9は、これらのうちの少なくとも1つ以上を用いて、車両1の走行をサポートする。
GPS受信機10は、複数のGPS衛星から送信されるGPS信号を受信し、各GPS信号に基づいて車両1の現在位置を算出する。GPS受信機10は、現在位置を示す情報(以下、現在位置情報とも称する)をナビゲーション装置12へ出力する。
アンテナ装置11は、FM(Frequency Modulation)多重放送、電波ビーコン及び光ビーコンのうちの少なくとも1つにより道路交通情報(VICS(登録商標)(Vehicle Information and Communication System)情報)を受ける。道路交通情報は、例えば渋滞情報及び交通規制情報などを含む。アンテナ装置11は、道路交通情報をナビゲーション装置12へ渡す。
ナビゲーション装置12は、映像を表示するディスプレイ121を備える映像表示装置の一例である。ナビゲーション装置12は、地図データを記憶している。地図データは、道路の特徴に関する情報を含む。
ナビゲーション装置12は、運転者等によって入力される目的地に関する情報と、地図データと、GPS受信機10からの現在位置情報とを用いて、現在位置から目的地までの経路情報を抽出する。ナビゲーション装置12は、経路情報をディスプレイ121に表示する。ナビゲーション装置12は、アンテナ装置11からの道路交通情報をディスプレイ121に表示する。ナビゲーション装置12は、経路情報及び道路交通情報以外の情報をディスプレイ121に表示することもできる。
音声出力装置13は、スピーカ131を備える。音声出力装置13は、種々の情報を音声で出力する。
ドライバカメラ14は、運転者の顔を含む所定の範囲を連続的に撮影する。ドライバカメラ14は、例えば、ダッシュボード上のような運転者の正面となる位置に設置されている。ドライバカメラ14は、運転者を監視するセンサの一例である。ドライバカメラ14は、撮影した画像(以下、運転者画像データとも称する)を脇見判定装置2へ出力する。運転者画像データは、運転者の脇見判定に用いられる監視データの一例である。
<脇見判定装置>
[ハードウェア構成]
図3は、脇見判定装置2のハードウェア構成を例示するブロック図である。
脇見判定装置2は、制御部21と、記憶部22と、通信インタフェース23とが電気的に接続されている。なお、図3では、通信インタフェースを、「通信I/F」と記載している。
制御部21について説明する。
制御部21は、脇見判定装置2の各部の動作を制御する。制御部21は、CPU(Central Processing Unit)211と、ROM(Read Only Memory)212と、RAM(Random Access Memory)213とを備える。CPU211は、プロセッサの一例である。CPU211は、記憶部22に格納された脇見判定装置2を実行させるためのプログラムをRAM213に展開する。そして、CPU211がRAM213に展開されたプログラムを解釈及び実行することで、制御部21は、ソフトウェア構成の項目において説明される各部を実行可能である。
記憶部22について説明する。
記憶部22は、いわゆる補助記憶装置である。記憶部22は、例えばHDD(Hard Disk Drive)であるが、これに限定されない。記憶部22は、制御部21で実行されるプログラムを記憶する。プログラムは、ソフトウェア構成の項目において説明される各部として脇見判定装置2を実行させるものである。なお、プログラムは、予め記憶部22に記憶されていてもよい。プログラムは、ネットワークを介して脇見判定装置2にダウンロードされてもよい。プログラムは、例えばCD(Compact Disc)−ROMなどの非一時的なコンピュータ可読媒体に記憶され、流通していてもよい。
記憶部22は、以下に例示するように、制御部21によって使用される各種データを記憶する。
記憶部22は、制御部21がドライバカメラ14から取得する運転者画像データを記憶する。制御部21は、例えば、所定間隔でドライバカメラ14から運転者画像データを取得し、運転者画像データを記憶部22に保存する。
記憶部22は、脇見運転と判定するために設定された判定基準の一つである通常時の判定基準(以下、通常時判定基準とも称する)を示す情報(以下、通常時判定基準情報とも称する)を記憶する。
ここで、通常時とは、左側方向指示器7C及び右側方向指示器7Dの非作動時である。なお、通常時は、左側方向指示器7C及び右側方向指示器7Dの非作動時という条件に、車両1の所定速度以上での走行時及び車両1の直進方向に対する進行方向のずれが所定範囲内の時の少なくとも何れか一方の条件を加えてもよい。
通常時判定基準の例については後述する。
通信インタフェース23について説明する。
通信インタフェース23は、方向指示器センサ8A、車速センサ8I、ナビゲーション装置12、音声出力装置13及びドライバカメラ14のそれぞれを、制御部21と接続する。通信インタフェース23は、有線通信のためのインタフェースを含んでいても、無線通信のためのインタフェースを含んでいてもよい。
なお、脇見判定装置2の具体的なハードウェア構成に関して、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部21は、複数のプロセッサを含んでもよい。
(通常時判定基準)
図4は、右ハンドルに適用される通常時判定基準を模式的に例示する図である。図4は、右ハンドルの車両1を上から見た平面図である。放射状の実線は、仮想的な領域A1、A2、A3等の境界を示している。破線は、車両1の幅方向の中心を示している。一点鎖線は、車両1の直進方向を示している。
通常時判定基準は、運転者の周囲に割り当てられている仮想的な第1の領域A1、仮想的な第2の領域A2及び仮想的な第3の領域A3の通常時における基準を含む。
第1の領域A1について説明する。
第1の領域A1は、運転者から車両1の前方に向けて広がる仮想的な領域である。第1の領域A1は、例えば、運転者から車両1の前方に向けて第1の角度θ1で水平に広がる。後述するように、脇見判定装置2は、運転者の視線または顔の向きが第1の領域Aに位置する場合、運転者が脇見をしていないと判定する。
第1の領域A1は、通常時判定基準では、例えば車両1の直進方向を含む位置に設定されている。第1の角度θ1は、通常時判定基準では、所定角度に設定されている。所定角度の大きさは、任意に設定可能である。
第2の領域A2について説明する。
第2の領域A2は、第1の領域A1に隣接する領域であって運転者から車両1の左方に向けて広がる仮想的な領域である。第2の領域A2は、例えば、運転者から車両1の左方に向けて第2の角度θ2で水平に広がる。第2の領域A2は、許容時間T2と関連付けられている。許容時間T2は、第2の領域に含まれる少なくとも一部の領域において、運転者の視線または顔の向きが一定の範囲に留まり続けることを許容する第1の時間の一例である。そのため、後述するように、脇見判定装置2は、運転者の視線または顔の向きが第2の領域A2に第1の時間よりも長い時間留まっている場合、運転者が脇見をしていると判定する。
第2の領域A2の位置は、通常時判定基準では、第1の領域A1と第2の領域A2との境界の位置及び第2の角度θ2によって決まる。第1の領域A1と第2の領域A2との境界の位置は、通常時判定基準では、所定の位置に設定されている。所定の位置は、任意に設定可能である。第2の角度θ2は、通常時判定基準では、所定角度に設定されている。所定角度の大きさは、任意に設定可能である。
第2の領域A2は、通常時判定基準では、異なる長さの許容時間が関連付けられているサブ領域A21及びサブ領域A22を含む。
サブ領域A21は、第1の領域A1に隣接する領域であって運転者から車両1の左方に向けて広がる仮想的な領域である。サブ領域A21は、例えば、運転者から車両1の左方に向けて第4の角度θ4で水平に広がる。
サブ領域A21の位置は、通常時判定基準では、第1の領域A1と第2の領域A2との境界の位置及び第4の角度θ4によって決まる。第4の角度θ4は、通常時判定基準では、所定角度に設定されている。所定角度の大きさは、任意に設定可能である。
サブ領域A21に関連付けられている許容時間T21の長さは、例えば5秒であるが、これに限定されない。許容時間T21は、第1の時間の一例である。
サブ領域A22は、サブ領域A21に隣接する領域であって運転者から車両1の左方に向けて広がる仮想的な領域である。サブ領域A22は、例えば、運転者から車両1の左方に向けて第5の角度θ5で水平に広がる仮想的な領域である。
サブ領域A22の位置は、通常時判定基準では、サブ領域A21の位置と第5の角度θ5によって決まる。第5の角度θ5は、通常時判定基準では、所定角度に設定されている。所定角度の大きさは、任意に設定可能である。
サブ領域A22に関連付けられている許容時間T22の長さは例えば3秒であるが、これに限定されない。許容時間T22は、第1の時間の一例である。サブ領域A22に関連付けられている許容時間T22の長さは、サブ領域A21に関連付けられている許容時間T21の長さよりも短い。その理由は、サブ領域A22がサブ領域A21よりも車両1の後方に位置しており、サブ領域A22に運転者の視線または顔の向きが長時間留まることが脇見なのか巻き込み確認なのかによらず運転の安全性に影響を及ぼし易いからである。
なお、第2の領域A2は、2つのサブ領域を含んでいるが、サブ領域を含んでいなくてもよい。また、第2の領域A2は、3以上のサブ領域を含んでいてもよい。この場合、各サブ領域に関連付けられている許容時間の長さは、第1の領域A1と第2の領域A2との境界から各サブ領域までの運転者から見た左回りの距離が離れるに従って短くなるように設定されている。
第3の領域A3について説明する。
第3の領域A3は、第1の領域A1に隣接する領域であって運転者から車両1の右方に向けて広がる仮想的な領域である。第3の領域A3は、例えば、運転者から車両1の右方に向けて第3の角度θ3で水平に広がる。第3の領域A3は、許容時間T3と関連付けられている。許容時間T3は、第3の領域に含まれる少なくとも一部の領域において、運転者の視線または顔の向きが一定の範囲内に留まり続けることを許容する第2の時間の一例である。そのため、後述するように、脇見判定装置2は、運転者の視線または顔の向きが第3の領域A3に第2の時間よりも長い時間留まっている場合、運転者が脇見をしていると判定する。
第3の領域A3の位置は、通常時判定基準では、第1の領域A1と第3の領域A3との境界の位置及び第3の角度θ3によって決まる。第1の領域A1と第3の領域A3との境界の位置は、通常時判定基準では、所定の位置に設定されている。所定の位置は、任意に設定可能である。第3の角度θ3は、通常時判定基準では、所定角度に設定されている。所定角度の大きさは、任意に設定可能である。
第3の領域A3は、通常時判定基準では、異なる長さの許容時間が関連付けられているサブ領域A31及びサブ領域A32を含む。
サブ領域A31は、第1の領域A1に隣接する領域であって運転者から車両1の右方に向けて広がる仮想的な領域である。サブ領域A31は、例えば、運転者から車両1の右方に向けて第6の角度θ6で水平に広がる。
サブ領域A31の位置は、通常時判定基準では、第1の領域A1と第3の領域A3との境界の位置及び第6の角度θ6によって決まる。第6の角度θ6は、通常時判定基準では、所定角度に設定されている。所定角度の大きさは、任意に設定可能である。
サブ領域A31に関連付けられている許容時間T31の長さは、例えば5秒であるが、これに限定されない。許容時間T31は、第2の時間の一例である。
サブ領域A32は、サブ領域A31に隣接する領域であって運転者から車両1の右方に向けて広がる仮想的な領域である。サブ領域A32は、例えば、運転者から車両1の右方に向けて第7の角度θ7で水平に広がる。
サブ領域A32の位置は、通常時判定基準では、サブ領域A31の位置と第7の角度θ7によって決まる。第7の角度θ7は、通常時判定基準では、所定角度に設定されている。所定角度の大きさは、任意に設定可能である。
サブ領域A32に関連付けられている許容時間T32の長さは例えば3秒であるが、これに限定されない。許容時間T32は、第2の時間の一例である。サブ領域A32に関連付けられている許容時間T32の長さは、サブ領域A31に関連付けられている許容時間T31の長さよりも短い。その理由は、サブ領域A32がサブ領域A31よりも車両1の後方に位置しており、サブ領域A32における運転者の視線または顔の向きが長時間留まることが脇見なのか巻き込み確認なのかによらず運転の安全性に影響を及ぼし易いからである。
なお、第3の領域A3は、2つのサブ領域を含んでいるが、サブ領域を含んでいなくてもよい。また、第3の領域A3は、3以上のサブ領域を含んでいてもよい。この場合、各サブ領域に関連付けられている許容時間の長さは、第1の領域A1と第3の領域A3との境界から各サブ領域までの運転者から見た右回りの距離が離れるに従って短くなるように設定されている。
なお、第1の領域A1と第2の領域A2との境界の車両1の直進方向に対するずれ量(角度)の絶対値は、第1の領域A1と第3の領域A3との境界の車両1の直進方向に対するずれ量(角度)の絶対値と同じであっても異なっていてもよい。サブ領域A21とサブ領域A22との境界の車両1の直進方向に対するずれ量(角度)の絶対値は、サブ領域A31とサブ領域A32との境界の車両1の直進方向に対するずれ量(角度)の絶対値と同じであっても異なっていてもよい。
なお、上述の右ハンドルに適用される通常時判定基準は、左ハンドルにも同様に適用できる。左ハンドルに適用される通常時判定基準で運転者の周囲に割当てられる複数の領域は、右ハンドルに適用される通常時判定基準で運転者に割当てられる複数の領域と同じであっても異なっていてもよい。左ハンドルに適用される通常時判定基準で運転者の周囲に割当てられる複数の領域は、以下で例示するように、右ハンドルに適用される通常時判定基準で運転者に割当てられる複数の領域を、車両1の直進方向に沿った軸を中心として反転させたものであってもよい。
左ハンドルに適用される通常時判定基準における第1の領域A1の第1の角度θ1の大きさは、右ハンドルに適用される通常時判定基準における第1の角度θ1の大きさと同じである。左ハンドルに適用される通常時判定基準における第1の領域A1と第2の領域A2との境界の車両1の直進方向に対するずれ量(角度)の絶対値は、右ハンドルに適用される通常時判定基準における第1の領域A1と第3の領域A3との境界の車両1の直進方向に対するずれ量(角度)の絶対値と同じである。左ハンドルに適用される通常時判定基準における第1の領域A1と第3の領域A3との境界の車両1の直進方向に対するずれ量(角度)の絶対値は、右ハンドルに適用される通常時判定基準における第1の領域A1と第2の領域A2との境界の車両1の直進方向に対するずれ量(角度)の絶対値と同じである。
左ハンドルに適用される通常時判定基準における第2の領域A2の第2の角度θ2の大きさは、右ハンドルに適用される通常時判定基準における第3の角度θ3の大きさと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A21の第4の角度θ4の大きさは、右ハンドルに適用される通常時判定基準におけるサブ領域A31の第6の角度θ6の大きさと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A21に関連付けられている許容時間T21の長さは、右ハンドルに適用される通常時判定基準におけるサブ領域A31に関連付けられている許容時間T31の長さと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A22の第5の角度θ5の大きさは、右ハンドルに適用される通常時判定基準におけるサブ領域A32の第7の角度θ7の大きさと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A22に関連付けられている許容時間T22の長さは、右ハンドルに適用される通常時判定基準におけるサブ領域A32に関連付けられている許容時間T32の長さと同じである。
左ハンドルに適用される通常時判定基準における第3の領域A3の第3の角度θ3の大きさは、右ハンドルに適用される通常時判定基準における第2の角度θ2の大きさと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A31の第6の角度θ6の大きさは、右ハンドルに適用される通常時判定基準におけるサブ領域A21の第4の角度θ4の大きさと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A31に関連付けられている許容時間T31の長さは、右ハンドルに適用される通常時判定基準におけるサブ領域A21に関連付けられている許容時間T21の長さと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A32の第7の角度θ7の大きさは、右ハンドルに適用される通常時判定基準におけるサブ領域A22の第5の角度θ5の大きさと同じである。左ハンドルに適用される通常時判定基準におけるサブ領域A32に関連付けられている許容時間T32の長さは、右ハンドルに適用される通常時判定基準におけるサブ領域A22に関連付けられている許容時間T22の長さと同じである。
[ソフトウェア構成]
図5は、脇見判定装置2のソフトウェア構成を例示するブロック図である。
制御部21は、第1の取得部2101と、判定部2102と、第2の取得部2103と、第3の取得部2104と、判定基準変更部2105と、出力部2106とを実装する。
第1の取得部2101について説明する。
第1の取得部2101は、以下に例示するように、運転者の視線または顔の向きを示す第1の情報を取得する。
まず、第1の取得部2101は、車両1の運転者に関する運転者画像データを取得する。一例では、第1の取得部2101は、記憶部22から運転者画像データを連続的に取得する。別の例では、第1の取得部2101は、ドライバカメラ14から運転者画像データを連続的に取得する。次に、第1の取得部2101は、運転者画像データ中の運転者の眼の状態などを検出し、運転者の視線または顔の向きを検出する。これにより、第1の取得部2101は、運転者の視線または顔の向きを示す第1の情報を取得する。
第1の取得部2101は、第1の情報を判定部2102へ出力する。
判定部2102について説明する。
判定部2102は、以下に例示するように、第1の情報が示す運転者の視線または顔の向きを、判定基準と比較することにより運転者の脇見を判定する。判定基準は、後述する第2の取得部2103によって取得される第2の情報が示す方向指示器の動作に応じて異なる。第2の情報は、方向指示器の動作を示す。左側方向指示器7Cまたは右側方向指示器7Dの動作終了から左側方向指示器7Cまたは右側方向指示器7Dの動作開始の間における第2の情報が示す方向指示器の動作は、車両1の直進時に関連している。左側方向指示器7Cの動作開始から左側方向指示器7Cの動作終了の間における第2の情報が示す方向指示器の動作は、車両1の左折時に関連している。右側方向指示器7Dの動作開始から右側方向指示器7Dの動作終了の間における第2の情報が示す方向指示器の動作は、車両1の右折時に関連している。判定基準に含まれる運転者の位置を基準とした方向の範囲または許容時間の長さは、直進方向に関連する判定基準と、左折方向に関連する判定基準と、右折方向に関連する判定基準とで互いに異なる。以下では、判定基準が、直進方向に関連する通常時判定基準と、後述する左折方向に関連する左方向用判定基準と、後述する右折方向に関連する右方向用判定基準とで互いに異なる例を説明する。
まず、判定部2102は、第1の取得部2101から第1の情報を受け取る。次に、判定部2102は、判定基準を取得する。判定部2102は、脇見判定装置2の起動時には、記憶部22から通常時判定基準情報を取得し、通常時判定基準を用いる。他方、判定部2102は、後述する判定基準変更部2105よって判定基準が変更される場合には、判定基準変更部2105から変更された判定基準を特定する情報を受け取る。判定部2102は、変更された判定基準を用いる。
判定部2102は、運転者の視線または顔の向きが第1の領域Aに位置する場合、運転者が脇見をしていないと判定する。判定部2102は、運転者の視線または顔の向きが第2の領域A2に第1の時間よりも長い時間留まっている場合、運転者が脇見をしていると判定する。言い換えると、判定部2102は、運転者の視線または顔の向きの第2の領域A2に連続して留まる時間が第1の時間以下である場合、運転者が脇見をしていないと判定する。判定部2102は、運転者の視線または顔の向きが第3の領域A3に第2の時間よりも長い時間留まっている場合、運転者が脇見をしていると判定する。言い換えると、判定部2102は、運転者の視線または顔の向きの第3の領域A3に連続して留まる時間が第2の時間以下である場合、運転者が脇見をしていないと判定する。
判定部2102は、運転者が脇見をしているか否かの判定に基づいて、運転者が脇見をしていることを示す判定結果を出力部2106へ出力する。
第2の取得部2103について説明する。
第2の取得部2103は、以下に例示するように、方向指示器の動作を示す第2の情報を取得する。
第2の取得部2103は、方向指示器センサ8Aから、方向指示器の動作を示す第2の情報を取得する。第2の取得部2103は、第2の情報を判定基準変更部2105へ出力する。
第3の取得部2104について説明する。
第3の取得部2104は、以下に例示するように、車両1の走行状態を示す第3の情報を取得する。
まず、第3の取得部2104は、車速センサ8Iから、速度を示す検出情報を取得する。次に、第3の取得部2104は、速度を示す検出結果に基づいて車両1の走行中または停止中を検出し、第3の情報を取得する。第3の取得部2104は、速度がゼロでなくても、速度が所定の閾値以下であれば停止中であると検出してもよい。つまり、停止中は、速度がゼロの場合だけでなく、閾値以下の実質的に停止している場合を含んでいてもよい。第3の情報は、車両1の走行中または停止中の何れかを示す。
第3の取得部2104は、第3の情報を判定基準変更部2105へ出力する。
判定基準変更部2105について説明する。
判定基準変更部2105は、以下に例示するように、判定基準を変更する。ここでは、判定基準変更部2105が方向指示器の動作している方向と同方向について判定基準を変更する例について説明する。
まず、判定基準変更部2105は、記憶部22から通常時判定基準を受け取る。次に、判定基準変更部2105は、第2の取得部2103から、第2の情報を受け取る。判定基準変更部2105は、第2の情報に基づいて、左側方向指示器7Cの動作開始、左側方向指示器7Cの動作終了、右側方向指示器7Dの動作開始または右側方向指示器7Dの動作終了を検出する。
次に、判定基準変更部2105は、第2の情報に基づいて、方向指示器の動作期間に、判定基準を変更する。
判定基準変更部2105は、以下に例示するように、第2の情報に基づいて、左側方向指示器7Cの動作期間に、車両1の左方について判定基準を変更する。
判定基準変更部2105は、左側方向指示器7Cの動作開始に応じて、第2の情報が示す方向指示器の動作が車両1の左折時に関連していると判断し、第1の変更処理を実行する。判定基準変更部2105は、左側方向指示器7Cの動作開始に応じて、第1の変更処理として、第1の領域A1と第2の領域A2との境界を左側方向指示器7C及び右側方向指示器7Dの非動作時における位置よりも運転者から見て左回りに回転させた位置へ移動する。この処理は、判定基準に含まれる運転者の位置を基準とした方向の変更ということもできる。これにより、車両1の左方は、運転者が脇見をしていると判定され難くなる。これと共にまたはこれに代えて、判定基準変更部2105は、左側方向指示器7Cの動作開始に応じて、第1の変更処理として、第2の領域A2において第1の時間を長くする。この処理は、判定基準に含まれる許容時間の変更ということもできる。これにより、車両1の左方は、運転者が脇見をしていると判定され難くなる。通常時判定基準に対して第1の変更処理が実行された後の判定基準を左方向用判定基準という。判定基準変更部2105は、判定基準を左方向用判定基準に決定する。判定基準変更部2105は、左側方向指示器7Cの動作終了に応じて、第2の情報が示す方向指示器の動作が車両1の直進時に関連していると判断し、判定基準を左方向用判定基準から通常時判定基準へ戻す。判定基準変更部2105は、判定基準を通常時判定基準に決定する。
判定基準変更部2105は、以下に例示するように、第2の情報に基づいて、右側方向指示器7Dの動作期間に、車両1の右方について判定基準を変更する。
判定基準変更部2105は、右側方向指示器7Dの動作開始に応じて、第2の情報が示す方向指示器の動作が車両1の右折時に関連していると判断し、第2の変更処理を実行する。判定基準変更部2105は、右側方向指示器7Dの動作開始に応じて、第2の変更処理として、第1の領域A1と第3の領域A3との境界を左側方向指示器7C及び右側方向指示器7Dの非動作時における位置よりも運転者から見て右回りに回転させた位置へ移動する。この処理は、判定基準に含まれる運転者の位置を基準とした方向の変更ということもできる。これにより、車両1の右方は、運転者が脇見をしていると判定され難くなる。これと共にまたはこれに代えて、判定基準変更部2105は、右側方向指示器7Dの動作開始に応じて、第2の変更処理として、第3の領域A3において第2の時間を長くする。この処理は、判定基準に含まれる許容時間の変更ということもできる。これにより、車両1の右方は、運転者が脇見をしていると判定され難くなる。通常時判定基準に対して第2の変更処理が実行された後の判定基準を右方向用判定基準という。判定基準変更部2105は、判定基準を右方向用判定基準に決定する。判定基準変更部2105は、右側方向指示器7Dの動作終了に応じて、第2の情報が示す方向指示器の動作が車両1の直進時に関連していると判断し、判定基準を右方向用判定基準から通常時判定基準へ戻す。判定基準変更部2105は、判定基準を通常時判定基準に決定する。
判定基準変更部2105は、判定基準を変更する毎に判定基準を特定する情報を判定部2102へ出力する。判定基準を特定する情報は、通常時判定基準、左方向用判定基準または右方向用判定基準の何れかを示す情報である。
なお、第1の変更処理の態様と第2の変更処理の態様は、同一であっても異なっていてもよい。一例では、第1の変更処理が第1の領域A1と第2の領域A2との境界を移動する処理である場合、第2の変更処理は、第1の領域A1と第3の領域A3との境界を移動する処理であっても、第3の領域A3において第2の時間を長くする処理であっても、これら両方を含んでいてもよい。別の例では、第1の変更処理が第2の領域A2において第1の時間を長くする処理である場合、第2の変更処理は、第1の領域A1と第3の領域A3との境界を移動する処理であっても、第3の領域A3において第2の時間を長くする処理であっても、これら両方を含んでいてもよい。さらに別の例では、第1の変更処理が第1の領域A1と第2の領域A2との境界を移動する処理及び第2の領域A2において第1の時間を長くする処理を含む場合、第2の変更処理は、第1の領域A1と第3の領域A3との境界を移動する処理であっても、第3の領域A3において第2の時間を長くする処理であっても、これら両方を含む処理であってもよい。
なお、判定基準変更部2105は、以下に例示するように、第3の取得部2104から受け取る第3の情報に基づいて、第1の変更処理及び第2の変更処理の有効または無効を判断するようにしてもよい。
まず、判定基準変更部2105は、第3の取得部2104から、車両1の走行中または停止中の何れかを示す第3の情報を取得する。
次に、判定基準変更部2105は、第3の情報に基づいて、車両1が走行中か否かを判断する。
次に、判定基準変更部2105は、車両1の走行中には、左側方向指示器7Cの動作開始に応じて第1の変更処理を実行する。同様に、判定基準変更部2105は、車両1の走行中には、右側方向指示器7Dの動作開始に応じて第2の変更処理を実行する。他方、判定基準変更部2105は、車両1の停止中には、判定基準の変更を無効にする。つまり、判定基準変更部2105は、車両1の停止中には、左側方向指示器7Cの動作開始を検出したとしても、第1の変更処理を実行しない。同様に、判定基準変更部2105は、車両1の停止中には、右側方向指示器7Dの動作開始を検出したとしても、第2の変更処理を実行しない。
出力部2106について説明する。
出力部2106は、以下に例示するように、運転者が脇見をしていることを示す判定結果に基づいて、運転者に対する支援の実行を指示する指示信号を出力する。
まず、出力部2106は、判定部2102から、運転者が脇見をしていることを示す判定結果を取得する。次に、出力部2106は、運転者が脇見をしていることを示す判定結果に基づいて、指示信号を支援提供装置へ出力する。
ここで、支援提供装置は、例えば、ナビゲーション装置12及び音声出力装置13である。支援提供装置は、ナビゲーション装置12及び音声出力装置13以外に、例えば、運転者に振動などの外部刺激を与える装置であってもよい。支援提供装置は、出力部2106から指示信号を受信すると、運転者に対する支援を実行する。運転者に対する支援は、運転者に作用する出力内容であればよく、警告や注意喚起、情報提供の他、運転集中度の改善を促す種々の支援を含む。
また、脇見判定装置2と支援提供装置とを含むシステムを運転支援システムともいう。
[左方向用判定基準]
図6は、通常時判定基準に対する第1の変更処理後の左方向用判定基準を模式的に例示する図である。図6は、第1の領域A1と第2の領域A2との境界を移動する処理及び第1の時間を長くする処理の両方が通常時判定基準に対して施されている例を示す。図6は、右ハンドルの車両1を上から見た図である。放射状の実線は、仮想的な領域A1、A2、A3等の境界を示している。破線は、車両1の幅方向の中心を示している。一点鎖線は、車両1の直進方向を示している。二点鎖線は、通常時判定基準における第1の領域A1と第2の領域A2との境界の位置を示している。左側方向指示器7Cは点滅中である。
図6を参照して、左方向用判定基準を以下に例示する。ここで説明する左方向用判定基準は、例示であり、通常時判定基準よりも車両1の左方について判定基準が変更されていればよい。ここでは、脇見判定装置2は、第1の領域A1と第3の領域A3との境界の位置及び第2の領域A2における第1の領域A1と第2の領域A2との境界とは反対側の端部の位置を変更することなく、第1の領域A1の第1の角度θ1の大きさを大きくし、第2の領域A2の第2の角度θ2の大きさを小さくしている。これにより、脇見判定装置2は、第1の領域A1と第2の領域A2との境界を移動している。
まず、第1の領域A1及び第2の領域A2について説明する。
第1の領域A1と第2の領域A2とを合わせた領域の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。第1の領域A1と第2の領域A2との境界の位置は、通常時判定基準における位置とは異なる。第1の領域A1と第2の領域A2との境界の位置は、通常時判定基準におけるサブ領域A21とサブ領域A22との境界の位置に対応する。つまり、第1の領域A1と第2の領域A2との境界の位置は、通常時判定基準における位置よりも運転者から見て左回りに回転させた位置である。これにより、左方向用判定基準における運転者の位置を基準とした方向は、通常時判定基準から変更されている。
第1の領域A1の第1の角度θ1の大きさは、通常時判定基準における角度よりも大きい。そのため、左方向用判定基準における第1の領域A1の範囲は、通常時判定基準における第1の領域A1の範囲よりも車両1の左方側に拡大している。
第2の領域A2における第1の領域A1と第2の領域A2との境界とは反対側の端部の位置は、通常時判定基準における位置と同じである。第2の領域A2の第2の角度θ2の大きさは、通常時判定基準における角度よりも小さく、通常時判定基準におけるサブ領域A22の第5の角度θ5の大きさと同じである。第2の領域A2の位置は、通常時判定基準におけるサブ領域A22の位置に対応する。そのため、左方向用判定基準における第2の領域A2の範囲は、通常時判定基準における第2の領域A2の範囲よりも縮小している。
次に、第1の時間の長さについて説明する。
左方向用判定基準における第2の領域A2に関連付けられている許容時間T2(例えば5秒)は、通常時判定基準におけるサブ領域A22に関連付けられている許容時間T22(3秒)よりも長い。これにより、左方向用判定基準における許容時間は、通常時判定基準から変更されている。
なお、第1の領域A1と第2の領域A2との境界を移動する処理が省略される場合、サブ領域A21に関連付けられている許容時間T21は、左方向用判定基準において、通常時判定基準よりも長く設定される。同様に、サブ領域A22に関連付けられている許容時間T22は、左方向用判定基準において、通常時判定基準よりも長く設定される。サブ領域A21に関連付けられている許容時間T21は、左方向用判定基準において、サブ領域A22に関連付けられている許容時間T22と同じであっても異なっていてもよい。
なお、第1の領域A1と第2の領域A2との境界を移動する処理が実行される場合、第1の時間を長くする処理は省略されてもよい。
次に、第3の領域A3について説明する。
第1の領域A1と第3の領域A3との境界の位置は、通常時判定基準における位置と同じである。第3の領域A3における第1の領域A1と第3の領域A3との境界とは反対側の端部の位置は、通常時判定基準における位置と同じである。第3の領域A3の第3の角度θ3は、通常時判定基準における大きさと同じである。そのため、第3の領域A3の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。サブ領域A31の第6の角度θ6は、通常時判定基準における大きさと同じである。そのため、サブ領域A31の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。サブ領域A31に関連付けられている許容時間T31は、通常時判定基準における長さと同じである。サブ領域A32の第7の角度θ7は、通常時判定基準における大きさと同じである。そのため、サブ領域A32の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。サブ領域A32に関連付けられている許容時間T32は、通常時判定基準における長さと同じである。
このように、第3の領域A3、サブ領域A31及びサブ領域A32の位置及び範囲、並びに、サブ領域A31に関連付けられている許容時間T31及びサブ領域A32に関連付けられている許容時間T32は、左方向用判定基準と通常時判定基準とで同じである。その理由は、運転者が左側方向指示器7Cの動作中に車両1の右方を見ることは少なく、車両1の右方について脇見運転と判定するために設定された基準を変更する必要性が低いからである。
なお、左方向用判定基準は、以下のように設定されていてもよい。
第1の領域A1と第2の領域A2との境界の位置は、右ハンドルであるのか左ハンドルであるのかによって異なっていてもよい。第1の時間の長さは、右ハンドルであるのか左ハンドルであるのかによって異なっていてもよい。第1の領域A1と第2の領域A2との境界の位置は、通常時判定基準におけるサブ領域A21とサブ領域A22との境界の位置と異なっていてもよい。第2の領域A2の第2の角度θ2の大きさは、通常時判定基準におけるサブ領域A22の第5の角度θ5より大きくてもよい。第2の領域A2における第1の領域A1と第2の領域A2との境界とは反対側の端部の位置は、第1の領域A1と第2の領域A2との境界の位置の移動に伴い、通常時判定基準における位置よりも運転者から見て左回りに移動してもよい。第1の領域A1と第3の領域A3との境界の位置は、通常時判定基準における位置と異なっていてもよい。第3の領域A3の第3の角度θ3は、通常時判定基準における大きさと異なっていてもよい。サブ領域A31の第6の角度θ6及びサブ領域A32の第7の角度θ7は、通常時判定基準における大きさと異なっていてもよい。サブ領域A31に関連付けられている許容時間T31は、通常時判定基準における長さと異なっていてもよい。サブ領域A32に関連付けられている許容時間T32は、通常時判定基準における長さと異なっていてもよい。サブ領域A31に関連付けられている許容時間T31とサブ領域A32に関連付けられている許容時間T32は、同じであってもよい。
[右方向用判定基準]
図7は、通常時判定基準に対する第2の変更処理後の右方向用判定基準を模式的に例示する図である。図7は、第1の領域A1と第3の領域A3との境界を移動する処理及び第2の時間を長くする処理の両方が通常時判定基準に対して施されている例を示す。図7は、右ハンドルの車両1を上から見た図である。放射状の実線は、仮想的な領域A1、A2、A3等の境界を示している。破線は、車両1の幅方向の中心を示している。一点鎖線は、車両1の直進方向を示している。二点鎖線は、通常時判定基準における第1の領域A1と第3の領域A3との境界の位置を示している。右側方向指示器7Dは点滅中である。
図7を参照して、右方向用判定基準を以下に例示する。ここで説明する右方向用判定基準は、例示であり、通常時判定基準よりも車両1の右方について判定基準が変更されていればよい。ここでは、脇見判定装置2は、第1の領域A1と第2の領域A2との境界の位置及び第3の領域A3における第1の領域A1と第3の領域A3との境界とは反対側の端部の位置を変更することなく、第1の領域A1の第1の角度θ1の大きさを大きくし、第3の領域A3の第3の角度θ3の大きさを小さくしている。これにより、脇見判定装置2は、第1の領域A1と第3の領域A3との境界を移動している。
まず、第1の領域A1及び第3の領域A3について説明する。
第1の領域A1と第3の領域A3とを合わせた領域の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。第1の領域A1と第3の領域A3との境界の位置は、通常時判定基準における位置とは異なる。第1の領域A1と第3の領域A3との境界の位置は、通常時判定基準におけるサブ領域A31とサブ領域A32との境界の位置に対応する。つまり、第1の領域A1と第3の領域A3との境界の位置は、通常時判定基準における位置よりも運転者から見て右回りに回転させた位置である。これにより、右方向用判定基準における運転者の位置を基準とした方向は、通常時判定基準から変更されている。
第1の領域A1の第1の角度θ1の大きさは、通常時判定基準における角度よりも大きい。そのため、右方向用判定基準における第1の領域A1の範囲は、通常時判定基準における第1の領域A1の範囲よりも車両1の右方側に拡大している。
第3の領域A3における第1の領域A1と第3の領域A3との境界とは反対側の端部の位置は、通常時判定基準における位置と同じである。第3の領域A3の第3の角度θ3の大きさは、通常時判定基準における角度よりも小さく、通常時判定基準におけるサブ領域A32の角度θ7の大きさと同じである。第3の領域A3の位置は、通常時判定基準におけるサブ領域A32の位置に対応する。そのため、右方向用判定基準における第3の領域A3の範囲は、通常時判定基準における第3の領域A3の範囲よりも縮小している。
次に、第2の時間の長さについて説明する。
右方向用判定基準における第3の領域A3に関連付けられている許容時間T3(例えば5秒)は、通常時判定基準におけるサブ領域A32に関連付けられている許容時間T32(3秒)よりも長い。これにより、右方向用判定基準における許容時間は、通常時判定基準から変更されている。
なお、第1の領域A1と第3の領域A3との境界を移動する処理が省略される場合、サブ領域A31に関連付けられている許容時間T31は、右方向用判定基準において、通常時判定基準よりも長く設定される。同様に、サブ領域A32に関連付けられている許容時間T32は、右方向用判定基準において、通常時判定基準よりも長く設定される。サブ領域A31に関連付けられている許容時間T31は、右方向用判定基準において、サブ領域A32に関連付けられている許容時間T32と同じであっても異なっていてもよい。
なお、第1の領域A1と第3の領域A3との境界を移動する処理が実行される場合、第2の時間を長くする処理は省略されてもよい。
次に、第2の領域A2について説明する。
第1の領域A1と第2の領域A2との境界の位置は、通常時判定基準における位置と同じである。第2の領域A2における第1の領域A1と第2の領域A2との境界とは反対側の端部の位置は、通常時判定基準における位置と同じである。第2の領域A2の第2の角度θ2は、通常時判定基準における大きさと同じである。そのため、第2の領域A2の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。サブ領域A21の第4の角度θ4は、通常時判定基準における大きさと同じである。そのため、サブ領域A21の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。サブ領域A21に関連付けられている許容時間T21は、通常時判定基準における長さと同じである。サブ領域A22の第5の角度θ5は、通常時判定基準における大きさと同じである。そのため、サブ領域A22の位置及び範囲は、通常時判定基準における位置及び範囲と同じである。サブ領域A22に関連付けられている許容時間T22は、通常時判定基準における長さと同じである。
このように、第2の領域A2、サブ領域A21及びサブ領域A22の位置及び範囲、並びに、サブ領域A21に関連付けられている許容時間T21及びサブ領域A22に関連付けられている許容時間T22は、右方向用判定基準と通常時判定基準とで同じである。その理由は、運転者が右側方向指示器7Dの動作中に車両1の左方を見ることは少なく、車両1の左方について脇見運転と判定するために設定された基準を変更する必要性が低いからである。
なお、右方向用判定基準は、以下のように設定されていてもよい。
第1の領域A1と第3の領域A3との境界の位置は、右ハンドルであるのか左ハンドルであるのかによって異なっていてもよい。第2の時間の長さは、右ハンドルであるのか左ハンドルであるのかによって異なっていてもよい。右方向用判定基準における車両1の直進方向に対する第1の領域A1と第3の領域A3との境界のずれ量(角度)の絶対値は、左方向用判定基準における車両1の直進方向に対する第1の領域A1と第2の領域A2との境界のずれ量(角度)の絶対値と同じであっても異なっていてもよい。右方向用判定基準における第2の時間の長さは、左方向用判定基準における第1の時間の長さと同じであっても異なっていてもよい。第1の領域A1と第3の領域A3との境界の位置は、通常時判定基準におけるサブ領域A31とサブ領域A32との境界の位置と異なっていてもよい。第3の領域A3の第3の角度θ3は、通常時判定基準におけるサブ領域A32の第7の角度θ7より大きくてもよい。第3の領域A3における第1の領域A1と第3の領域A3との境界とは反対側の端部の位置は、第1の領域A1と第3の領域A3との境界の位置の移動に伴い、通常時判定基準における位置よりも運転者から見て右回りに移動してもよい。第1の領域A1と第2の領域A2との境界の位置は、通常時判定基準における位置と異なっていてもよい。第2の領域A2の第2の角度θ2は、通常時判定基準における大きさと異なっていてもよい。サブ領域A21の第4の角度θ4及びサブ領域A22の第5の角度θ5は、通常時判定基準における大きさと異なっていてもよい。サブ領域A21に関連付けられている許容時間T21は、通常時判定基準における長さと異なっていてもよい。サブ領域A22に関連付けられている許容時間T22は、通常時判定基準における長さと異なっていてもよい。サブ領域A21に関連付けられている許容時間T21とサブ領域A22に関連付けられている許容時間T22は、同じであってもよい。
§3 動作例
<脇見判定装置>
[脇見判定動作]
脇見判定装置2による脇見判定動作について説明する。
図8は、脇見判定装置2による脇見判定動作を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順については、適宜、ステップの省略、置換及び追加が可能である。
第1の取得部2101は、例示したように、運転者の視線または顔の向きを示す第1の情報を取得する(ステップS101)。
判定部2102は、例示したように、判定基準を取得する(ステップS102)。
判定部2102は、例示したように、第1の情報が示す視線または顔の向きを、判定基準と比較することにより脇見を判定する(ステップS103)。判定部2102が運転者の脇見を判定した場合(ステップS103、Yes)、出力部2106は、例示したように、指示信号を出力する(ステップS104)。
制御部21は、脇見判定装置2に電力が供給されているか否かを判断する(ステップS105)。脇見判定装置2に電力が供給されている場合(ステップS105、Yes)、制御部21は、ステップS101以降の処理を繰り返す。制御部21は、脇見判定装置2への電力供給の中断に応じて(ステップS105、No)、脇見判定動作を終了する。
ステップS103に戻って、制御部21は、運転者が脇見をしていないと判定した場合(ステップS103、No)、ステップS105の処理を上述のように実行する。
[判定基準の変更動作の一例]
図9は、脇見判定装置2による判定基準の変更動作の一例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順については、適宜、ステップの省略、置換及び追加が可能である。
判定基準変更部2105は、左側方向指示器7Cまたは右側方向指示器7Dの動作開始を示す第2の情報を受け取る(ステップS201)。
判定基準変更部2105は、第2の情報に基づいて、左側方向指示器7Cの動作開始を検出したか否か判断する(ステップS202)。
判定基準変更部2105が左側方向指示器7Cの動作開始を検出した場合(ステップS202、Yes)、判定基準変更部2105は、通常時判定基準に対して第1の変更処理を実行する(ステップS203)。判定基準変更部2105は、判定基準を左方向用判定基準に決定し、左方向用判定基準を示す情報を判定部2102へ出力する(ステップS204)。
判定基準変更部2105は、左側方向指示器7Cの動作終了を検出したか否かを判断する(ステップS205)。判定基準変更部2105が左側方向指示器7Cの動作終了を検出していない場合(ステップS205、No)、判定基準変更部2105は、ステップS205の処理を継続する。
判定基準変更部2105が左側方向指示器7Cの動作終了を検出した場合(ステップS205、Yes)、判定基準変更部2105は、判定基準を左方向用判定基準から通常時判定基準へ戻す(ステップS206)。判定基準変更部2105は、判定基準を通常時判定基準に決定し、通常時判定基準を示す情報を判定部2102へ出力する(ステップS207)。
判定基準変更部2105は、脇見判定装置2に電力が供給されているか否かを判断する(ステップS208)。脇見判定装置2に電力が供給されている場合(ステップS208、Yes)、判定基準変更部2105は、ステップS201以降の処理を繰り返す。判定基準変更部2105は、脇見判定装置2への電力供給の中断に応じて(ステップS208、No)、脇見判定動作を終了する。
ステップS202に戻って、判定基準変更部2105が左側方向指示器7Cの動作開始を検出していない場合(ステップS202、No)、判定基準変更部2105は、右側方向指示器7Dの動作開始であると判断する。判定基準変更部2105は、通常時判定基準に対して第2の変更処理を実行する(ステップS209)。判定基準変更部2105は、判定基準を右方向用判定基準に決定し、右方向用判定基準を示す情報を判定部2102へ出力する(ステップS210)。
判定基準変更部2105は、右側方向指示器7Dの動作終了を検出したか否かを判断する(ステップS211)。判定基準変更部2105が右側方向指示器7Dの動作終了を検出していない場合(ステップS211、No)、判定基準変更部2105は、ステップS211の処理を継続する。
判定基準変更部2105が右側方向指示器7Dの動作終了を検出した場合(ステップS211、Yes)、判定基準変更部2105は、判定基準を右方向用判定基準から通常時判定基準へ戻す(ステップS206)。判定基準変更部2105は、ステップS207及びステップS208の処理を上述のように実行する。
上述の判定基準変更部2105による判定基準の変更動作により、判定部2102は、以下に例示するように、種々の判定基準を用いて運転者が脇見をしているか否か判定することができる。判定部2102は、左側方向指示器7C及び右側方向指示器7Dの非動作期間に、通常時判定基準を用いて運転者が脇見をしているか否かを判定する。判定部2102は、左側方向指示器7Cの動作期間に、左方向用判定基準を用いて運転者が脇見をしているか否かを判定する。判定部2102は、右側方向指示器7Dの動作期間に、右方向用判定基準を用いて運転者が脇見をしているか否かを判定する。
[判定基準の変更動作の別の例]
図10は、脇見判定装置2による判定基準の変更動作の別の例を示すフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順については、適宜、ステップの省略、置換及び追加が可能である。
判定基準変更部2105は、左側方向指示器7Cまたは右側方向指示器7Dの動作開始を示す第2の情報を受け取る(ステップS301)。
判定基準変更部2105は、例示したように、車両1が走行中か否かを判断する(ステップS302)。
車両1が走行中である場合(ステップS302、Yes)、判定基準変更部2105は、ステップS303からステップS312の処理を実行する。ステップS303からステップS312の処理は、それぞれ、図9に示されるステップS202からステップS211の処理と同様であるので、説明を省略する。
車両1が走行中ではない場合(ステップS302、No)、判定基準変更部2105は、車両1が停止中であると判断し、ステップS309の処理を実行する。
上述の判定基準変更部2105による判定基準の変更動作により、判定部2102は、以下に例示するように、種々の判定基準を用いて運転者が脇見をしているか否か判定することができる。判定部2102は、左側方向指示器7C及び右側方向指示器7Dの非動作期間に、通常時判定基準を用いて運転者が脇見をしているか否かを判定する。判定部2102は、車両1の走行中かつ左側方向指示器7Cの動作期間に、左方向用判定基準を用いて運転者が脇見をしているか否かを判定する。判定部2102は、車両1の走行中かつ右側方向指示器7Dの動作期間に、右方向用判定基準を用いて運転者が脇見をしているか否かを判定する。
他方、判定部2102は、車両1の停止中には、左側方向指示器7Cの動作期間であっても、左方向用判定基準を用いない。判定部2102は、通常時判定基準を用いてもよいし、通常時判定基準とは異なる車両1の停止中用の判定基準を用いてもよい。同様に、判定部2102は、車両1の停止中には、右側方向指示器7Dの動作期間であっても、右方向用判定基準を用いない。判定部2102は、通常時判定基準を用いてもよいし、車両1の停止中用の判定基準を用いてもよい。
<支援提供装置>
[運転者に対する支援動作]
まず、支援提供装置の一例であるナビゲーション装置12による運転者に対する支援動作について説明する。ナビゲーション装置12は、脇見判定装置2から指示信号を受信する。ナビゲーション装置12は、指示信号に基づいて、運転者へ脇見についての注意を与える警告を画像または映像でディスプレイ121に表示する。
次に、支援提供装置の一例である音声出力装置13による運転者に対する支援動作について説明する。音声出力装置13は、脇見判定装置2から指示信号を受信する。音声出力装置13は、指示信号に基づいて、運転者へ脇見についての注意を与える警告を音声でスピーカ131から出力する。警告は、例えば、脇見をしていること、または、車両1の前方を注視する必要があることなどを運転者へ注意する内容であればよく、限定されるものではない。
運転者は、支援提供装置による支援動作により、自身が脇見をしていることを認識し、車両1の運転に集中し直すことができる。
§4 作用・効果
以上説明したように、本実施形態では、脇見判定装置2は、運転者の視線または顔の向きを、第2の情報が示す方向指示器の動作に応じて異なる判定基準と比較することにより、運転者の脇見を判定する。
これにより、脇見判定装置2は、以下で説明するように、車両1の進行方向が変化するときの脇見判定の精度を向上させることができる。例えば、運転者は、左折、右折、車線変更または路肩等に停車しようとする際に自身の意思で方向指示器を動作させるため、直進時とは異なる方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置2は、このような運転者の行動を脇見と誤判定することを低減し、脇見判定の精度を向上させることができる。
さらに、本実施形態では、脇見判定装置2は、方向指示器の動作期間に、判定基準を変更する。
これにより、脇見判定装置2は、以下で説明するように、方向指示器の動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、方向指示器の動作期間には、直進時とは異なる方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置2は、判定基準を変更することで、このような運転者の行動を脇見と誤判定することを低減し、脇見判定の精度を向上させることができる。
さらに、本実施形態では、脇見判定装置2は、左側方向指示器7Cの動作期間に、車両1の左方について判定基準を変更し、又は右側方向指示器7Dの動作期間に、車両1の右方について判定基準を変更する。
これにより、脇見判定装置2は、以下で説明するように、左側方向指示器7Cまたは右側方向指示器7Dの動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、自身の意思で動作させた方向指示器の示す方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置2は、左側方向指示器7Cまたは右側方向指示器7Dの動作期間に、このような運転者の行動を脇見と誤判定することを低減し、脇見判定の精度を向上させることができる。
さらに、本実施形態では、脇見判定装置2は、運転者の視線または顔の向きが第1の領域A1に位置する場合、運転者が脇見をしていないと判定する。脇見判定装置2は、運転者の視線または顔の向きが、第2の領域A2に第1の時間よりも長い時間留まっている場合、又は第3の領域A3に第2の時間よりも長い時間留まっている場合、運転者が脇見をしていると判定する。
これにより、脇見判定装置2は、運転者の位置を基準とした車両1の前方、左方及び右方に仮想的な領域を設定して運転者の脇見を判定することで、脇見判定の精度を向上させることができる。
さらに、本実施形態では、脇見判定装置2は、左側方向指示器7Cの動作開始に応じて、第1の領域A1と第2の領域A2との境界を移動し、又は、右側方向指示器7Dの動作開始に応じて、第1の領域A1と第3の領域A3との境界を移動する。
これにより、脇見判定装置2は、以下で説明するように、領域間の境界の位置を移動させることで、左側方向指示器7Cまたは右側方向指示器7Dの動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、自身の意思で動作させた方向指示器の示す方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置2は、左側方向指示器7Cまたは右側方向指示器7Dの動作期間に、運転者の視線または顔の向きを、領域間の境界の位置を移動させた判定基準で評価することで、脇見判定の精度を向上させることができる。
さらに、本実施形態では、脇見判定装置2は、左側方向指示器7Cの動作開始に応じて、第1の時間を長くし、又は、右側方向指示器7Dの動作開始に応じて、第2の時間を長くする。
これにより、脇見判定装置2は、以下で説明するように、許容時間を長くすることで、左側方向指示器7Cまたは右側方向指示器7Dの動作期間に、脇見判定の精度を向上させることができる。例えば、運転者は、自身の意思で動作させた方向指示器の示す方向に意図をもって視線または顔を向ける傾向にある。脇見判定装置2は、左側方向指示器7Cまたは右側方向指示器7Dの動作期間に、運転者の視線または顔の向きを、許容時間を長くした判定基準で評価することで、脇見判定の精度を向上させることができる。
さらに、本実施形態では、脇見判定装置2は、車両1の停止中には、判定基準の変更を無効にする。
これにより、脇見判定装置2は、以下で説明するように、車両1の停止中には、左側方向指示器7Cまたは右側方向指示器7Dの動作期間であっても、運転者が脇見をしているか否かを適切に判定することができる。例えば、運転者が歩行者の横断待ちまたは信号待ちなどの理由で車両1を停止させている間は、運転者は、左側方向指示器7Cまたは右側方向指示器7Dの動作期間であっても、車両1の左方または右方よりも車両1の前方に視線または顔を向けることが好ましい。そのため、脇見判定装置2は、このような状況下では、車両1の左方または右方の判定基準の変更を無効にすることで、運転者が脇見をしているか否かを適切に判定することができる。
さらに、本実施形態では、運転支援システムは、運転者が脇見をしていることを示す判定結果に基づいて、運転者に対する支援を実行する。
これにより、運転支援システムは、運転者が脇見をしている場合に、運転者に対して例えば警告などの支援を実行することができる。その結果、運転者は、脇見をしていることを認識し、運転に集中し直すことができる。
§5 変形例
5−1 変形例1
上述の本実施形態では、判定基準変更部2105が方向指示器の動作している方向と同方向について判定基準を変更する例について説明したが、これに限られない。
判定基準変更部2105は、方向指示器の動作している方向とは逆方向について判定基準を変更するようにしてもよい。判定基準変更部2105は、例えば、左側方向指示器7Cの動作期間に、通常時判定基準に対して第2の変更処理を実行し、車両1の右方について判定基準を変更する。これにより、判定部2102は、左側方向指示器7Cの動作期間に、上述の右方向用判定基準を用いて運転者の脇見を判定する。他方、判定基準変更部2105は、例えば、右側方向指示器7Dの動作期間に、通常時判定基準に対して第1の変更処理を実行し、車両1の左方について判定基準を変更する。これにより、判定部2102は、右側方向指示器7Dの動作期間に、上述の左方向用判定基準を用いて運転者の脇見を判定する。
判定基準変更部2105は、方向指示器の動作している方向と同方向及び逆方向の両方について判定基準を変更するようにしてもよい。判定基準変更部2105は、例えば、左側方向指示器7Cの動作期間に、通常時判定基準に対して第1の変更処理及び第2の変更処理を実行し、車両1の左方及び右方について判定基準を変更する。これにより、判定部2102は、左側方向指示器7Cの動作期間に、通常時判定基準に対して第1の変更処理及び第2の変更処理が施された判定基準を用いて運転者の脇見を判定する。他方、判定基準変更部2105は、例えば、右側方向指示器7Dの動作期間に、第1の変更処理及び第2の変更処理を実行し、車両1の左方及び右方について判定基準を変更する。これにより、判定部2102は、右側方向指示器7Dの動作期間に、通常時判定基準に対して第1の変更処理及び第2の変更処理が施された判定基準を用いて運転者の脇見を判定する。
運転者は、方向指示器の動作している方向と同方向に視線または顔を向けるだけでなく、方向指示器の動作している方向とは逆方向に視線または顔を向けることもある。脇見判定装置2は、少なくとも方向指示器の動作している方向とは逆方向について判定基準を変更することにより、車両1の進行方向が変化するときの脇見判定の精度を向上させることができる。
5−2 変形例2
上述の本実施形態では、左側方向指示器7Cの動作期間における車両1の左方についての判定基準の変更及び右側方向指示器7Dの動作期間における車両1の右方についての判定基準の変更の両方が実行される態様について説明したが、これに限られない。脇見判定装置2は、左側方向指示器7Cの動作期間に車両1の左方について判定基準を変更するが、右側方向指示器7Dの動作期間に車両1の右方について判定基準を変更しなくてもよい。脇見判定装置2は、例えば、左側方向指示器7Cの動作期間に第1の変更処理を実行するが、右側方向指示器7Dの動作期間に第2の変更処理を実行しない。これとは逆に、脇見判定装置2は、右側方向指示器7Dの動作期間に車両1の右方について判定基準を変更するが、左側方向指示器7Cの動作期間に車両1の左方について判定基準を変更しなくてもよい。脇見判定装置2は、例えば、右側方向指示器7Dの動作期間に第2の変更処理を実行するが、左側方向指示器7Cの動作期間に第1の変更処理を実行しない。
5−3 変形例3
要するにこの発明は、本実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、本実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、本実施形態に示される全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合わせてもよい。
§6 付記
本実施形態の一部または全部は、特許請求の範囲のほか以下の付記に示すように記載することも可能であるが、これに限定されない。
(付記)
運転者の視線または顔の向きを示す第1の情報を取得する第1の取得部(2101)と、
方向指示器の動作を示す第2の情報を取得する第2の取得部(2103)と、
前記第1の情報が示す視線または顔の向きを、方向または時間で決められる所定の基準と比較することにより脇見を判定する判定部であって、前記第2の情報が示す前記動作に応じて前記基準が異なる判定部(2102)と、
を具備する脇見判定装置(2)。
1…車両、2…脇見判定装置、3…パワーユニット、4…操舵装置、5…ステアリングホイール、6…車外撮影カメラ、7A…方向指示器スイッチ、7B…リレー回路、7C…左側方向指示器、7D…右側方向指示器、8A…方向指示器センサ、8B…ステアリングセンサ、8C…アクセルペダルセンサ、8D…ブレーキペダルセンサ、8E…車外センサ、8F…ヨーレートセンサ、8G…横加速度センサ、8H…ジャイロセンサ、8I…車速センサ、9…制御装置、10…GPS受信機、11…アンテナ装置、12…ナビゲーション装置、13…音声出力装置、14…ドライバカメラ、21…制御部、22…記憶部、23…通信インタフェース、121…ディスプレイ、131…スピーカ、211…CPU、212…ROM、213…RAM、2101…第1の取得部、2102…判定部、2103…第2の取得部、2104…第3の取得部、2105…判定基準変更部、2106…出力部、A1…第1の領域、A2…第2の領域、A3…第3の領域、A21…サブ領域、A22…サブ領域、A31…サブ領域、A32…サブ領域。

Claims (7)

  1. 運転者の視線または顔の向きを示す第1の情報を取得する第1の取得部と、
    方向指示器の動作を示す第2の情報を取得する第2の取得部と、前記方向指示器は、右側方向指示器と左側方向指示器とを含み、
    前記第1の情報が示す視線または顔の向きを、方向または時間で決められる所定の基準と比較することにより脇見を判定する判定部であって、前記第2の情報が示す前記動作に応じて前記基準が異なる判定部と、
    前記第2の情報に基づいて、前記方向指示器の動作期間に、前記基準を変更する判定基準変更部であって、前記左側方向指示器の動作期間に、車両の左方について前記基準を変更し、又は前記右側方向指示器の動作期間に、前記車両の右方について前記基準を変更する判定基準変更部と、
    前記車両の走行状態を示す第3の情報を取得する第3の取得部と、を備え、
    前記判定基準変更部は、前記第3の情報に基づいて、前記車両の走行中には、前記左側方向指示器の動作開始に応じて前記基準を変更し、又は前記右側方向指示器の動作開始に応じて前記基準を変更し、前記車両の停止中には、前記基準の変更を無効にする、
    脇見判定装置。
  2. 前記判定部は、
    前記運転者の視線または顔の向きが、前記運転者から前記車両の前方に向けて広がる仮想的な第1の領域に位置する場合、前記運転者が脇見をしていないと判定し、
    前記運転者の視線または顔の向きが、前記第1の領域に隣接する領域であって前記運転者から前記車両の左方に向けて広がる仮想的な第2の領域に第1の時間よりも長い時間留まっている場合、又は前記第1の領域に隣接する領域であって前記運転者から前記車両の右方に向けて広がる仮想的な第3の領域に第2の時間よりも長い時間留まっている場合、前記運転者が脇見をしていると判定する、請求項に記載の脇見判定装置。
  3. 前記判定基準変更部は、前記左側方向指示器の動作開始に応じて、前記第1の領域と前記第2の領域との境界を前記左側方向指示器及び前記右側方向指示器の非動作時における位置よりも前記運転者から見て左回りに回転させた位置へ移動し、又は、前記右側方向指示器の動作開始に応じて、前記第1の領域と前記第3の領域との境界を前記左側方向指示器及び前記右側方向指示器の非動作時における位置よりも前記運転者から見て右回りに回転させた位置へ移動する、請求項に記載の脇見判定装置。
  4. 前記判定基準変更部は、前記左側方向指示器の動作開始に応じて、前記第1の時間を長くし、又は、前記右側方向指示器の動作開始に応じて、前記第2の時間を長くする、請求項に記載の脇見判定装置。
  5. 前記運転者が脇見をしていることを示す判定結果に基づいて、前記運転者に対する支援の実行を指示する指示信号を出力する出力部をさらに備える請求項1からのうちの何れか1項に記載の脇見判定装置と、
    前記指示信号に基づいて、前記運転者に対する支援を実行する支援提供装置と、
    を具備する運転支援システム。
  6. 運転者の視線または顔の向きを示す第1の情報を取得する第1の取得過程と、
    方向指示器の動作を示す第2の情報を取得する第2の取得過程と、前記方向指示器は、右側方向指示器と左側方向指示器とを含み、
    前記第1の情報が示す視線または顔の向きを、方向または時間で決められる所定の基準と比較することにより脇見を判定する判定過程であって、前記第2の情報が示す前記動作に応じて前記基準が異なる判定過程と、
    前記第2の情報に基づいて、前記方向指示器の動作期間に、前記基準を変更する判定基準変更過程であって、前記左側方向指示器の動作期間に、車両の左方について前記基準を変更し、又は前記右側方向指示器の動作期間に、前記車両の右方について前記基準を変更する判定基準変更過程と、
    前記車両の走行状態を示す第3の情報を取得する第3の取得過程と、を備え、
    前記判定基準変更過程は、前記第3の情報に基づいて、前記車両の走行中には、前記左側方向指示器の動作開始に応じて前記基準を変更し、又は前記右側方向指示器の動作開始に応じて前記基準を変更し、前記車両の停止中には、前記基準の変更を無効にする、
    脇見判定方法。
  7. 請求項1からのうちの何れか1項に記載の脇見判定装置が備える各部の処理をコンピュータに実行させる脇見判定のためのプログラム。
JP2017219838A 2017-11-15 2017-11-15 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム Active JP6777060B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017219838A JP6777060B2 (ja) 2017-11-15 2017-11-15 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム
DE102018216022.8A DE102018216022A1 (de) 2017-11-15 2018-09-20 Vorrichtung zum Bestimmen abgelenkten Fahrens, Fahrunterstützungssystem, Verfahren zum Bestimmen abgelenkten Fahrens, und Programm zum Bestimmen abgelenkten Fahrens
CN201811128635.4A CN109795499A (zh) 2017-11-15 2018-09-27 旁视判定装置及方法、驾驶支援系统及计算机可读介质
US16/143,452 US20190147266A1 (en) 2017-11-15 2018-09-27 Distracted driving determination apparatus, driving support system, distracted driving determination method, and program for distracted driving determination

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017219838A JP6777060B2 (ja) 2017-11-15 2017-11-15 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム

Publications (2)

Publication Number Publication Date
JP2019091263A JP2019091263A (ja) 2019-06-13
JP6777060B2 true JP6777060B2 (ja) 2020-10-28

Family

ID=66335478

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017219838A Active JP6777060B2 (ja) 2017-11-15 2017-11-15 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム

Country Status (4)

Country Link
US (1) US20190147266A1 (ja)
JP (1) JP6777060B2 (ja)
CN (1) CN109795499A (ja)
DE (1) DE102018216022A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR3100782B1 (fr) * 2019-09-16 2021-08-06 Psa Automobiles Sa Procédé et système pour surveiller le comportement du conducteur d’un véhicule automobile
FR3105144B1 (fr) * 2019-12-20 2022-11-04 Valeo Comfort & Driving Assistance Dispositif de surveillance préventif d’un conducteur d’un véhicule
JP2021196941A (ja) 2020-06-16 2021-12-27 トヨタ自動車株式会社 ドライバ監視システム
JP7272338B2 (ja) * 2020-09-24 2023-05-12 トヨタ自動車株式会社 自動運転システム
US11745745B2 (en) * 2021-05-12 2023-09-05 Toyota Research Institute, Inc. Systems and methods for improving driver attention awareness
EP4234351B1 (en) * 2022-02-25 2024-04-24 Volvo Car Corporation Method and system for keeping a vehicle on a predetermined path, and computer program

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4617226B2 (ja) * 2005-08-30 2011-01-19 本田技研工業株式会社 車両用表示装置
US7884705B2 (en) * 2005-12-12 2011-02-08 Panasonic Corporation Safety-drive assistance device
JP4946672B2 (ja) * 2007-07-04 2012-06-06 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
JP2009294753A (ja) * 2008-06-03 2009-12-17 Toyota Motor Corp 画像処理装置および画像処理方法
JP5184596B2 (ja) * 2010-09-03 2013-04-17 本田技研工業株式会社 脇見判定装置
JP5661942B2 (ja) * 2011-10-06 2015-01-28 本田技研工業株式会社 警報装置
JP5657809B2 (ja) * 2011-10-06 2015-01-21 本田技研工業株式会社 脇見検出装置
JP5630518B2 (ja) * 2012-03-14 2014-11-26 株式会社デンソー 運転支援装置
EP2682318B1 (en) * 2012-07-03 2015-01-28 Volvo Car Corporation Motor vehicle collision warning system
CN102930693B (zh) * 2012-11-06 2015-01-21 深圳市艾大机器人有限公司 安全驾驶预警方法
US8847771B2 (en) * 2013-01-25 2014-09-30 Toyota Motor Engineering & Manufacturing North America, Inc. Method and apparatus for early detection of dynamic attentive states for providing an inattentive warning
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
US9505412B2 (en) * 2013-08-02 2016-11-29 Honda Motor Co., Ltd. System and method for detection and utilization of driver distraction level
KR20150066739A (ko) * 2013-12-09 2015-06-17 경북대학교 산학협력단 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법
JP6217412B2 (ja) * 2014-01-29 2017-10-25 アイシン・エィ・ダブリュ株式会社 自動運転支援装置、自動運転支援方法及びプログラム
CN105083291B (zh) * 2014-04-25 2018-11-09 歌乐株式会社 基于视线检测的驾驶员辅助系统
US20160362111A1 (en) * 2015-06-12 2016-12-15 Jaguar Land Rover Limited Driver awareness sensing and indicator control
JP6488922B2 (ja) * 2015-07-06 2019-03-27 株式会社デンソー 運転者異常検出装置
CN110178104A (zh) * 2016-11-07 2019-08-27 新自动公司 用于确定驾驶员分心的系统和方法
JP7180067B2 (ja) * 2017-11-06 2022-11-30 日本電気株式会社 運転支援装置
JP6962141B2 (ja) * 2017-11-07 2021-11-05 トヨタ自動車株式会社 ドライバ状態検出装置

Also Published As

Publication number Publication date
JP2019091263A (ja) 2019-06-13
CN109795499A (zh) 2019-05-24
DE102018216022A1 (de) 2019-05-16
US20190147266A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
JP6777060B2 (ja) 脇見判定装置、運転支援システム、脇見判定方法及び脇見判定のためのプログラム
JP2019091281A (ja) 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
JP7004077B2 (ja) 車両の走行制御方法及び走行制御装置
JP5267570B2 (ja) 運転支援装置
JP5657809B2 (ja) 脇見検出装置
JP6428713B2 (ja) 情報表示装置
WO2018211802A1 (ja) 自動運転支援装置および自動運転支援方法
JP5888407B2 (ja) 運転支援装置
EP3632761A1 (en) Electronic control device, vehicle control method, and vehicle control program
JP6705437B2 (ja) 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
WO2019188218A1 (ja) 運転支援システム、運転支援装置、運転支援方法
CN111469846A (zh) 车辆的控制系统、车辆的控制方法以及介质
JP2018188029A (ja) 停車意図判定装置、及び停車意図判定方法
KR20200017971A (ko) 차량 및 그 제어방법
JP2008293440A (ja) 運転支援装置
JP2022060078A (ja) 運転支援装置
JP2007320536A (ja) 並走車両監視装置
JP6520974B2 (ja) 運転切り替え判定装置、及び運転切り替え判定のためのプログラム
CN109795498B (zh) 分心判断装置、分心判断方法以及计算机可读介质
JP2012212271A (ja) 運転支援装置
JP2020111092A (ja) 車両の制御システム、車両の制御方法、およびプログラム
JP6367081B2 (ja) 走行支援装置、走行支援プログラムおよび走行支援方法
JP2020111090A (ja) 車両の制御システム、車両の制御方法、およびプログラム
JP7029689B2 (ja) 表示制御方法およびそれを利用した表示制御装置、車両、プログラム、表示制御システム
JP7424327B2 (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20190311

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190318

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200507

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200908

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200921

R150 Certificate of patent or registration of utility model

Ref document number: 6777060

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150