WO2017018073A1 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
WO2017018073A1
WO2017018073A1 PCT/JP2016/067381 JP2016067381W WO2017018073A1 WO 2017018073 A1 WO2017018073 A1 WO 2017018073A1 JP 2016067381 W JP2016067381 W JP 2016067381W WO 2017018073 A1 WO2017018073 A1 WO 2017018073A1
Authority
WO
WIPO (PCT)
Prior art keywords
environment
information
vehicle
driver
unit
Prior art date
Application number
PCT/JP2016/067381
Other languages
English (en)
French (fr)
Inventor
雄太 水野
俊介 小暮
亘 野木森
Original Assignee
アイシン精機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン精機株式会社 filed Critical アイシン精機株式会社
Priority to DE112016003438.5T priority Critical patent/DE112016003438T5/de
Priority to US15/746,631 priority patent/US10347126B2/en
Publication of WO2017018073A1 publication Critical patent/WO2017018073A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18145Cornering
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18154Approaching an intersection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0097Predicting future conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168Feature extraction; Face representation
    • G06V40/171Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/168Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2555/00Input parameters relating to exterior conditions, not covered by groups B60W2552/00, B60W2554/00
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/10Historical data
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle
    • B60W2556/50External transmission of data to or from the vehicle for navigation systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G06F18/2135Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on approximation criteria, e.g. principal component analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs

Definitions

  • the vehicle 1 may be, for example, an automobile (an internal combustion engine automobile) using an internal combustion engine (engine, not shown) as a drive source, or an electric motor (motor, not shown) as a drive source.
  • the vehicle may be a vehicle (electric vehicle, fuel cell vehicle, etc.) or a vehicle (hybrid vehicle) using both of them as drive sources.
  • the vehicle 1 can be mounted with various transmissions, and various devices (systems, components, etc.) necessary for driving the internal combustion engine and the electric motor.
  • the method, number, layout, and the like of the device related to driving of the wheels 3 in the vehicle 1 can be variously set.
  • the notification unit 407 notifies the vehicle based on the comparison result of the comparison unit 406 before the vehicle travels in the traffic environment indicated by the travel destination environment data. For example, when the comparison unit 406 determines that the movement frequency of the line of sight expected to be performed by the driver is low, the range of the visual field of the past driver, in other words, the safety confirmation expected to be performed by the driver. When it is determined that the range of the field of view is narrow, the notification unit 407 notifies the user of a message to call attention by voice.
  • the comparison unit 406 determines that the driver moves the right face in a narrow range when the vehicle 1 makes a right turn
  • FIG. 6 is a flowchart showing a procedure of the above-described processing in the driving support system 100 of the present embodiment.
  • the notification based on the traffic environment is performed in advance.
  • the notification can prompt a safety check regarding the traffic environment.
  • the driver can confirm safety in advance by the notification. Thereby, safety can be improved.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

実施形態の運転支援装置は、車両が現在走行している地点から、所定時間経過後に車両が走行する地点の環境を示した第1環境情報を取得する取得部と、車両が走行した地点の環境を示した第2環境情報と、当該第2環境情報で示された環境で運転者が行うべき動作を示した確認動作情報と、を対応付けて記憶する確認情報記憶部と、第2環境情報と、当該第2環境情報で示された環境で運転者が実際に行った動作を示した実動作情報と、を対応付けて記憶する動作情報記憶部と、第1環境情報で示された環境の第2環境情報と確認情報記憶部で対応付けられた確認動作情報と、第1環境情報で示された環境の第2環境情報と動作情報記憶部で対応付けられた実動作情報と、を比較する比較部と、比較部の比較結果に基づいて、第1環境情報で示された環境を車両が走行する前に、通知を行う通知部と、を備える。

Description

運転支援装置
 本発明の実施形態は、運転支援装置に関する。
 従来から、車両を運転する運転者の顔の向きを検出して、運転者が脇見運転等を行っている場合には、運転者に対して警報を行う技術が提案されている。
特開2004-347464号公報 特開2002-083400号公報 特開平04-332100号公報
 しかしながら、従来技術においては、ある交通環境において、当該交通環境に応じた注意を運転者が行っていないことを検出してから注意を促す場合、運転者が当該注意を聞いた時には危ない状況の直前になっている可能性もある。このため、注意喚起は早いほうが望ましい。
 実施形態の運転支援装置は、車両が現在走行している地点から、所定時間経過後に車両が走行する地点の環境を示した第1環境情報を取得する取得部と、車両が走行した地点の環境を示した第2環境情報と、当該第2環境情報で示された環境で運転者が行うべき動作を示した確認動作情報と、を対応付けて記憶する確認情報記憶部と、第3環境情報と、当該第3環境情報で示された環境で運転者が実際に行った動作を示した実動作情報と、を対応付けて記憶する動作情報記憶部と、前記第1環境情報で示された環境の前記第2環境情報と前記確認情報記憶部で対応付けられた前記確認動作情報と、前記第1環境情報で示された環境の前記第3環境情報と前記動作情報記憶部で対応付けられた前記実動作情報と、を比較する比較部と、前記比較部の比較結果に基づいて、前記第1環境情報で示された環境を車両が走行する前に、通知を行う通知部と、を備える。上記構成により、運転者が事前に安全確認を行うことができるので、安全性を向上させることができる。
 実施形態の運転支援装置においては、前記車両を運転している運転者の動作を示した動作情報を取得する動作取得部と、前記第3環境情報と、前記第3環境情報で示された環境を前記車両が走行している時の運転者の動作として前記動作取得部により取得された前記動作情報と、を対応付けて前記動作情報記憶部を更新する更新部と、をさらに備える。上記構成により、動作記憶部に運転者が実際に行った動作が格納されるため、より適切な通知を行うことができるので、安全性を向上させることができる。
 また、実施形態の運転支援装置においては、取得部は、地図情報に基づいて車両の目的地までの経路を導出する車両案内装置から、第1環境情報を取得する。上記構成により、車両の走行先について事前に安全確認を行うことができるので、安全性を向上させることができる。
 また、実施形態の運転支援装置においては、前記第3環境情報と、前記第3環境情報で示された地点の環境を走行する際の運転者の運転状態が示された運転状態情報と、を対応付けて記憶する運転状態記憶部を備え、前記取得部は、運転者の現在の運転状態を示した前記運転状態情報と前記運転状態記憶部で対応付けられた前記第3環境情報に基づいて、前記車両の進行方向として推測される、前記第1環境情報を取得する。上記構成により、車両の走行先について事前に安全確認を行うことができるので、安全性を向上させることができる。
 また、実施形態の運転支援装置においては、比較部は、実動作情報で示された現時点よりも所定時間前の運転者の動作である、運転者の視野の範囲が、確認動作情報で示された確認すべき視野の範囲と比べて、広いか否かを判定し、通知部は、実動作情報で示された運転者の視野の範囲が、確認動作情報で示された、確認すべき視野の範囲と比べて広くないと判定した場合に、通知を行う。上記構成により、運転者が実際に行った動作に基づいた通知を行うことができるので、安全性を向上させることができる。
図1は、第1の実施形態にかかる車両の車室の一部が透視された状態が示された斜視図である。 図2は、第1の実施形態にかかる撮像装置の配置の一例を示す図である。 図3は、第1の実施形態にかかる運転支援システムの構成の一例を示すブロック図である。 図4は、第1の実施形態のECUの機能的構成を示すブロック図である。 図5は、第1の実施形態の動作履歴データベースのテーブル構造を例示した図である。 図6は、第1の実施形態の運転支援システムにおけるメッセージを通知するまでの処理手順を示すフローチャートである。 図7は、第1の実施形態の車両が交差点で右折する際に行われる通知の概念を例示した図である。 図8は、第1の実施形態の車両が道路を走行中に細い脇道がある場合に行われる通知の概念を例示した図である。 図9は、第1の実施形態の車両が交差点の右折時に対向車等が存在する場合に、歩行者等に対する注意喚起を行うための通知の概念を例示した図である。 図10は、第1の実施形態の車両に設けられた測距部が、停車車両を検出した場合に、注意喚起のための通知の概念を例示した図である。 図11は、第1の実施形態の車両が駐車スペースに駐車するために後退する場合を例示した図である。 図12は、第1の実施形態にかかる車両が見通しの良い交差点を走行している場合を例示した図である。 図13は、第1の実施形態の運転支援システムにおける動作履歴データベースを更新するまでの処理手順を示したフローチャートである。 図14は、第2の実施形態のECUの機能的構成を示すブロック図である。
(第1の実施形態)
 以下、第1の実施形態の運転支援装置を車両1に搭載した例をあげて説明する。
 本実施形態では、車両1は、例えば、内燃機関(エンジン、図示されず)を駆動源とする自動車(内燃機関自動車)であってもよいし、電動機(モータ、図示されず)を駆動源とする自動車(電気自動車、燃料電池自動車等)であってもよいし、それらの双方を駆動源とする自動車(ハイブリッド自動車)であってもよい。また、車両1は、種々の変速装置を搭載することができるし、内燃機関や電動機を駆動するのに必要な種々の装置(システム、部品等)を搭載することができる。また、車両1における車輪3の駆動に関わる装置の方式や、数、レイアウト等は、種々に設定することができる。
 図1に示されるように、車両1の車体2は、運転者(不図示)が乗車する車室2aを構成している。車室2a内には、乗員としての運転者の座席2bに臨む状態で、操舵部4等が設けられている。本実施形態では、一例として、操舵部4は、ダッシュボード(インストルメントパネル)12から突出したステアリングホイールである。
 また、図1に示されるように、本実施形態では、一例として、車両1は、四輪車(四輪自動車)であり、左右二つの前輪3Fと、左右二つの後輪3Rとを有する。さらに、本実施形態では、これら四つの車輪3は、いずれも操舵されうるように(転舵可能に)構成されている。
 また、車室2a内のダッシュボード12の車幅方向すなわち左右方向の中央部には、カーナビゲーション装置11が設けられている。カーナビゲーション装置11には、表示装置や音声出力装置が設けられている。表示装置は、例えば、LCD(liquid crystal display)や、OELD(organic electroluminescent display)等である。音声出力装置は、例えば、スピーカである。また、表示装置は、例えば、タッチパネル等、透明な操作入力部で覆われている。乗員は、操作入力部を介して表示装置の表示画面に表示される画像を視認することができる。また、乗員は、表示装置の表示画面に表示される画像に対応した位置において手指等で操作入力部を触れたり押したり動かしたりして操作することで、操作入力を実行することができる。
 また、図1に例示されるように、車体2には、複数の測距部16と、複数の測距部17とが設けられている。本実施形態の測距部17は、車体2の後面及び前面に設けられている。また、本実施形態の測距部16は、車体の右側面及び左側面に設けられている。測距部16,17は、例えば、超音波を発射してその反射波を捉えるソナーである。ソナーは、ソナーセンサ、あるいは超音波探知器とも称されうる。本実施形態では、測距部16,17の検出結果により、車両1の周囲に位置された障害物等の物体の有無や当該物体までの距離を測定できる。
 また、図2に示すように、ハンドルコラム202には、撮像装置201が設置されている。この撮像装置201は、例えば、CCD(Charge Coupled Device)カメラ等とする。撮像装置201は、座席2bに着座する運転者302の顔が、視野中心に位置するように、視野角及び姿勢が調整されている。この撮像装置201は、運転者302の顔を順次撮影し、撮影により得た画像についての画像データを順次出力する。
 次に、本実施形態にかかる車両1における運転支援装置を有する運転支援システムについて説明する。図3は、本実施形態にかかる運転支援システム100の構成の一例を示すブロック図である。図3に例示されるように、運転支援システム100では、ECU14や、カーナビゲーション装置11、操舵システム13、測距部16,17等の他、ブレーキシステム18、舵角センサ19、アクセルセンサ20、シフトセンサ21、車輪速センサ22等が、電気通信回線としての車内ネットワーク23を介して電気的に接続されている。車内ネットワーク23は、例えば、CAN(Controller Area Network)として構成されている。ECU14は、車内ネットワーク23を通じて制御信号を送ることで、アクチュエータ13aを含む操舵システム13、アクチュエータ18aを含むブレーキシステム18等を制御することができる。また、ECU14は、車内ネットワーク23を介して、トルクセンサ13b、ブレーキセンサ18b、舵角センサ19、測距部16、測距部17、アクセルセンサ20、シフトセンサ21、車輪速センサ22等の検出結果や、操作入力部等の操作信号等を、受け取ることができる。ここで、ECU14は、運転支援装置の一例である。
 カーナビゲーション装置11(車両案内装置)は、表示装置8、音声出力装置9、操作入力部10の他に、CPU11aと、地図データ記憶部11bと、を備えている。CPU11aは(図示しない)カーナビゲーションプログラムを実行することで、操作入力部10を介した目的地の入力操作が行われた場合に、地図データ記憶部11bに記憶された地図データを参照して、目的地までの経路データを導出できる。
 そして、カーナビゲーション装置11は、表示装置8に、導出された経路データを表示できる。また、カーナビゲーション装置11は、導出された経路データに従った車両1の経路案内を、音声出力装置9から音声を出力することで実現できる。また、カーナビゲーション装置11が導出した経路データは、ECU14等の車両1内部の他の構成に対して出力できる。また、カーナビゲーション装置11は、経路データに従って、車両1が現在走行している地点から、走行先の地点の交通環境を示した走行先環境データも出力できる。
 走行先環境データとは、現在走行している地点から、走行先の地点における周囲の環境と、当該経路データに従って地点を走行した場合の車両1の状態と、を含むデータとする。走行先環境データを参照することで、例えば、現在から先の交差点で車両1が右折する等を認識できる。
 ECU14は、例えば、CPU14a(Central Processing Unit)や、ROM14b(Read Only Memory)、RAM14c(Random Access Memory)、表示制御部14d、音声制御部14e、SSD14f(Solid State Drive、フラッシュメモリ)等を有している。CPU14aは、車両1全体の制御を行う。CPU14aは、ROM14b等の不揮発性の記憶装置にインストールされ記憶されたプログラムを読み出し、当該プログラムにしたがって演算処理を実行できる。RAM14cは、CPU14aでの演算で用いられる各種のデータを一時的に記憶する。また、表示制御部14dは、ECU14での演算処理のうち、主として、撮像部15で得られた画像データを用いた画像処理や、表示装置8で表示される画像データの合成等を実行する。また、音声制御部14eは、ECU14での演算処理のうち、主として、音声出力装置9で出力される音声データの処理を実行する。また、SSD14fは、書き換え可能な不揮発性の記憶部であって、ECU14の電源がオフされた場合にあってもデータを記憶することができる。なお、CPU14aや、ROM14b、RAM14c等は、同一パッケージ内に集積されうる。また、ECU14は、CPU14aに替えて、DSP(Digital Signal Processor)等の他の論理演算プロセッサや論理回路等が用いられる構成であってもよい。また、SSD14fに替えてHDD(Hard Disk Drive)が設けられてもよいし、SSD14fやHDDは、ECU14とは別に設けられてもよい。
 なお、上述した各種センサやアクチュエータの構成や、配置、電気的な接続形態等は、一例であって、種々に設定(変更)することができる。
 図4は、本実施形態のECU14の機能的構成を示すブロック図である。図4に示されるように、ECU14は、ROM14bに、動作履歴データベース401と、確認基準データベース402と、を備えている。また、ECU14は、(図示しない)運転支援プログラムを実行することで、取得部403と、動作予測部404と、確認行動取得部405と、比較部406と、通知部407と、顔画像入力部411と、顔データ計測部412と、モデル生成部413と、動作取得部414と、履歴更新部415と、を実現する。本実施形態は、(図示しない)運転支援プログラムを実行することで実現される構成として説明するが、これらの構成をハードウェアで実現するように構成しても良い。
 動作履歴データベース401は、車両1が走行した経路の地点毎の交通環境を示したデータ(換言すれば第3環境情報に相当する)と、当該交通環境で運転者が実際に行った動作に関する情報(換言すれば実動作情報に相当する)と、を対応付けて記憶する。本実施形態では、運転者が実際に行った動作に関する情報として、視線の移動頻度と、顔の移動範囲と、を含む。
 交通環境を示すデータとは、地点における周囲の環境と、当該地点走行時の車両1の状態と、を含むデータとする。これにより、例えば、交通環境を示すデータには、交差点を示すデータと、当該交差点で車両1が右折したことを示すデータと、が含まれる。当該交通環境を示すデータは、周囲の環境を示すデータとして、当該道路上に存在した障害物や、道路標識の有無等を含めても良い。
 図5は、本実施形態の動作履歴データベース401のテーブル構造を例示した図である。図5に示されるように、本実施形態の動作履歴データベース401は、交通環境を示すデータと、視線の移動頻度と、顔の移動範囲と、を対応付けて記憶している。
 視線の移動頻度は、交通環境に格納されている環境で運転者が行った視線の移動回数が格納されている。例えば、視線の移動頻度には、5回等が格納されている。これにより、例えば、交差点を右折する際に、運転者が5回程度周囲を確認したことを把握できる。
 顔の移動範囲は、顔の向きデータと、視線方向と、を含んでいる。顔の向きデータは、運転者の顔の向きを示すデータであって、本実施形態ではX軸、Y軸、及びZ軸の位置を示す情報と、X軸、Y軸、Z軸の回転を示す情報と、が格納される。視線方向は、運転者の視線の方向を示す情報が格納される。これにより、顔の移動範囲には、運転者が確認した視野の範囲が含まれている。
 確認基準データベース402は、例えば自動車教習所などの、規範運転者が車両を運転操作した場合に、当該車両が走行した地点の交通環境を示すデータ(換言すれば第2環境情報に相当する)と、当該交通環境で上記規範運転者が行った安全確認動作に関する情報(換言すれば確認動作情報に相当する)と、を対応付けて記憶する。なお、本実施形態は、自動車教習所等の規範運転者の例について説明するが、安全確認動作の基準となる運転操作を行った運転者であれば良い。
 本実施形態は、当該交通環境で運転者が行うべき安全確認動作に関する情報として、視線の移動頻度と、顔の移動範囲と、を含む例とする。しかしながら、本実施形態は、視線の移動頻度と、顔の移動範囲と、を含む例に制限するものではなく、運転者が交通環境で行った動作に関する情報であれば良い。また、本実施形態は、顔の移動範囲から、運転者が安全確認した視野の範囲を特定する例について説明するが、運転者が安全確認した視野の範囲は、他の手法を用いて導出しても良い。
 これにより、確認基準データベース402は、交通環境毎に、周囲の確認回数や、確認すべき運転者の視野の範囲等の、運転者が安全確認すべき基準を格納している。確認基準データベース402のテーブル構造は、動作履歴データベース401と同様で良いものとする。
 取得部403は、車両1が現在走行している地点から、所定時間経過後に車両1が走行する地点の交通環境を示した走行先環境データ(換言すれば第1環境情報に相当する)を取得する。本実施形態では所定時間として、例えば15秒等が考えられるが、事前に運転者に安全確認を行わせるためのメッセージを出力するために十分な時間であればよく、車両1の速度や、実施態様に応じて、適切な時間が設定されればよい。
 本実施形態では、取得部403は、カーナビゲーション装置11から、走行先環境データを取得する。走行先環境データには、車両1の走行先の地点の交通環境として、例えば、交差点、脇道、駐車スペース等を含むほかに、当該地点における道路標識の有無や歩行者の有無などを含んでも良い。さらに、走行先環境データには、目的地までの経路に基づいた、車両1の進路が含まれている。例えば、走行先環境データには、次の交差点で車両1が右折する等のデータが含まれている。
 ところで、従来から、ある交通環境で運転者が行うべき安全確認を怠った場合に、警告を行う技術が提案されている。しかしながら、このような従来の技術では、警告してから運転者が安全確認を行うことになるため、安全確認に遅延が生じる。そこで、本実施形態では、運転者が安全確認を怠りそうな交通環境になる前に、事前に当該交通環境に関するメッセージを出力する。
 動作予測部404は、取得部403が取得した走行先環境データで示された、車両1が現在走行している地点から、走行先の地点の交通環境で、運転者が行う動作を予測する。本実施形態の動作予測部404は、動作履歴データベース401を参照し、走行先環境データで示された交通環境で、運転者が過去に実際に行った動作を表した、視線の移動頻度と、顔の移動範囲と、を運転者が行うと予測される動作として取得する。
 確認行動取得部405は、取得部403が取得した走行先環境データで示された、車両1が現在走行している地点から、走行先の地点の交通環境で、運転者が行うべき安全確認の動作を示した情報を取得する。本実施形態の確認行動取得部405は、確認基準データベース402を参照し、走行先環境データで示された交通環境で、運転者が行うべき安全確認の動作を表した、視線の移動頻度と、顔の移動範囲と、を取得する。
 比較部406は、走行先環境データで示された交通環境と確認基準データベース402で対応付けられた、運転者が行うべき安全確認の動作を表した情報(視線の移動頻度、及び顔の移動範囲)と、走行先環境データで示された交通環境と動作履歴データベース401で対応付けられた、運転者が行うと予想される動作(換言すれば、当該交通環境で運転者が実際に行った動作)を表した情報(視線の移動頻度、及び顔の移動範囲)と、を比較する。
 具体的な比較手法の例として、本実施形態の比較部406は、運転者が行うべき安全確認の動作である視線の移動頻度と比べて、運転者が行うと予想される視線の移動頻度が多いか否かを判定する。他の例として、比較部406は、運転者が過去に実際に行った動作である運転者の視野の範囲が、安全確認動作に関する情報で示された確認すべき視野の範囲と比べて、広いか否かを判定する。
 通知部407は、比較部406の比較結果に基づいて、走行先環境データで示された交通環境を車両が走行する前に通知を行う。例えば、比較部406が、運転者が行うと予想される視線の移動頻度が少ないと判定した場合や、過去の運転者の視野の範囲、換言すれば運転者が行うと予想される安全確認の視野の範囲が狭いと判定した場合に、通知部407が、注意喚起する旨のメッセージを音声で通知する。
 例えば、比較部406が、車両1が右折する際に運転者が右方向の顔の移動範囲が狭いと判断した場合に、右折すると推測される交差点に車両1が流入する前に、通知部407が、右方向に注意喚起する旨のメッセージを出力する。このため、車両1が交差点に流入する前に、運転者が右折ウィンカーを出すか否かにかかわらず、メッセージを出力できる。
 顔画像入力部411は、撮像装置201から、運転者の顔を含む領域を撮像した撮像画像を入力する。
 顔データ計測部412は、入力された撮像画像から、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出して、平均的な顔形状、顔部品の位置等の三次元顔構造データを計測する。
 モデル生成部413は、計測された三次元顔構造データである平均的な顔形状、顔部品の位置、および運転者の目の形状の変化情報を、三次元顔モデルとして生成する。
 三次元顔モデルは、ROM14b等の記憶媒体に保存されている。三次元顔モデルは、統計的顔形状モデルであり、平均的な被験者の三次元顔形状と、被験者の目や口、鼻等の顔部品の位置と、目の形状の変化情報とが登録されている。三次元顔モデルは、一例として、CLM(Constrained Local Model)、AAM(Active Appearance Model)、ASM(Active Shape Model)を用いることができるが、これらに限定されるものではない。
 動作取得部414は、車両1を運転している運転者の顔の位置を検出し続けることで、顔の動作に関する情報を取得する。本実施形態の動作取得部414は、モデル生成部413により生成された3次元顔モデルに基づいて、運転者の顔におけるX軸、Y軸、及びZ軸の位置を示す情報と、X軸、Y軸、Z軸の回転を示す情報と、を取得する。さらに、動作取得部414は、運転者の顔の位置と、目の形状の変化情報と、に基づいて、運転者の視線の方向に関する情報を取得し、視線の移動頻度、及び顔の移動範囲を導出する。
 履歴更新部415は、車両1が走行している交通環境を示すデータと、当該交通環境を車両1が走行している時に運転者の動作として動作取得部414により取得された視線の移動頻度及び顔の移動範囲と、を対応付けて動作履歴データベース401を更新する。
 本実施形態のECU14では、上述した構成を備えることで、交通環境で運転者が行った動作が、動作履歴データベース401に蓄積されていく。
 次に、本実施形態の運転支援システム100におけるメッセージを通知するまでの処理手順について説明する。図6は、本実施形態の運転支援システム100における上述した処理の手順を示すフローチャートである。
 取得部403は、カーナビゲーション装置11から、車両1が現在走行している地点から、走行先の地点の交通環境が示された走行先環境データを取得する(ステップS601)。
 次に、確認行動取得部405は、取得部403が取得した走行先環境データに基づいて、車両1が現在走行している地点から走行先の地点の交通環境で、運転者が行うべき安全確認の動作を示した情報(視線の移動頻度、及び顔の移動範囲)を取得する(ステップS602)。
 さらに、動作予測部404は、取得部403が取得した走行先環境データに基づいて、車両1が現在走行している地点から走行先の地点の交通環境と同じ交通環境で、運転者が実際に行った動作を示した情報(視線の移動頻度、及び顔の移動範囲)を取得する(ステップS603)。
 そして、比較部406は、走行先の地点の交通環境と同じ交通環境で、運転者が実際に行った動作が、運転者が行うべき安全確認の動作を示した要件を満たしているか否かを判定する(ステップS604)。要件を満たしていると判定した場合(ステップS604:Yes)、処理を終了する。
 運転者が実際に行った動作が、運転者が行うべき安全確認の動作を示した情報で示された要件を満たしていないと判定された場合(ステップS604:No)、通知部407は、走行先環境データで示された交通環境を車両1が走行する前に、安全確認動作を行う旨の通知を行う(ステップS605)。
 上述した処理により、車両1の走行先に応じた注意喚起が行われるため、安全性を向上させることができる。
 次に通知が行われる具体的な状況について説明する。図7は、本実施形態の車両1が交差点で右折する際に行われる通知の概念を例示した図である。図7に示される例では、車両1は、カーナビゲーション装置11によって経路700が定められているものとする。そして、比較部406が、右折する際に運転者が過去に実際に行った安全確認の動作が要件を満たしていないと判定した場合に、右折を開始する地点701より前の地点702で、通知部407が、運転者に対して、右方向に注意する旨のメッセージ710を出力する。当該通知は、運転者が右折するための操舵を行う前に行われるため、運転者は、右折操舵を行う前に、交差点の周囲の確認を行うことができる。
 また、当該交差点において、運転者が行った安全確認の動作を示すデータは、動作履歴データベース401に蓄積されていく。これにより、次以降に交差点を右折する際に、今回の運転者の行った動作が反映された通知が行われる。例えば、一定期間要件を満たした安全確認の動作が行われていれば通知が行われなくなり、安全確認の動作が行われていなければ再度通知が行われる。
 図8は、本実施形態の車両1が道路を走行中に細い脇道がある場合に行われる通知の概念を例示した図である。図8に示される例では、車両1は、カーナビゲーション装置11によって経路800が定められているものとする。そして、比較部406は、細い脇道がある場合に運転者が過去に実際に行った安全確認の動作が要件を満たしていないと判定した場合に、地点801より前の地点で、通知部407が、運転者に対して、脇道に注意する旨のメッセージ810を出力する。当該通知は、脇道を通過する前に行われるため、運転者は、脇道から飛び出し等があるか否かの事前確認を行うことができる。また、脇道を通過する場合に限らず、広い道から脇の細い道に入る場合や、細い道から広い道に出る場合なども、必要に応じて注意喚起を促すことができる。
 図9は、車両1が交差点の右折時に対向車等が存在する場合に、歩行者等に対する注意喚起を行うための通知の概念を例示した図である。図9に示される例では、車両1は、カーナビゲーション装置11によって経路900が定められているものとする。右折する際には周囲を確認できているが、右折して右方向の道路に流入する際に、歩行者の突然の飛び出し等を抑止するための注意を促す例とする。例えば、比較部406は、右折する際に対向車901の影902や横断歩道903に対する過去の安全確認の動作が要件を満たしていないと判定した場合に、対向車901を通り過ぎる前の地点で、通知部407が、運転者に対して、歩行者を注意する旨のメッセージ910を出力する。当該通知は、対向車を通り過ぎる前に行われるため、運転者は、対向車901の影902や、横断歩道903から飛び出し等があるか否かの事前確認を行うことができる。図9に示される例では、右折時の場合について説明したが、左折時の歩行者の巻き込み等に対して注意喚起を行うための通知を行っても良い。
 上述した例では、カーナビゲーション装置11により定められた経路に基づいた通知を行う例について説明した。しかしながら、本実施形態では交通環境について予め通知を行う技術であればよく、カーナビゲーション装置11に定められた経路に基づいた通知に制限するものではない。そこで、測距部17が、停車車両を検出した場合について説明する。図10は、本実施形態の車両1に設けられた測距部17が停車車両を検出した場合の、注意喚起のための通知の概念を例示した図である。
 図10(A)は、車両1の進行方向に停車車両1001が存在していた場合とする。そして、車両1は、経路1000に従って走行した例とする。このような場合において、動作取得部414が取得する、運転者の停車車両1001の陰に対する、安全確認の動作が、予め定められた要件を満たしていないものとする。このような場合に、履歴更新部415が、その旨を動作履歴データベース401に更新する。
 その後、図10(B)に示されるように、測距部17が、車両1の進行方向に停車車両1011を検出したものとする。このような場合に、図10(A)の時の学習結果に基づいて、通知部407が、停車車両1011と十分に離れている状態であっても、車両周辺に注意する旨のメッセージ1020を出力する。これにより、例えば、車両1が停車車両1011に近接する前に、車両周辺に注意する旨の通知が行われる。これにより、運転者は、経路1010に従って、停車車両1011をよける操舵を行う前に、停車車両1011の周辺を確認できる。これにより、安全性を向上させることができる。また、図10(B)で行われた安全確認の情報も、動作履歴データベース401に格納される。
 これにより、図10(B)で示される状況で運転者の安全確認が適切に行われた場合、通知部407は、次以降、車両周辺に注意する旨の通知を行わない。これにより、運転者にとって不要な通知を抑止できる。
 図10に示される例では、停車車両1011が存在する場合について説明したが、測距部17を用いた通知は、このような状況に制限するものではなく、例えば合流地点における安全確認等にも適用しても良い。さらに、道路上に「止まれ」等の道路標識が記載されている場合に、撮像カメラ等が当該道路標識を認識し、当該道路標識が存在する場合の適切な安全確認が行われるように通知を行っても良い。
 また、車両1の操舵に基づいた通知を行ってもよい。図11は、本実施形態の車両1が駐車スペースに駐車するために後退する場合を例示した図である。図11に示される例では、運転支援システム100が、後退するための進行方向1100への切り替え操舵を検知した場合に、比較部406が、動作履歴データベース401を参照して、過去に駐車スペースに駐車する際に、運転者の領域1111、1112、及び障害物1101、1102と同様の領域に対する安全確認の動作が、予め定められている要件を満たしているか否かを判定し、通知部407が、当該判定結果に基づいて、車両1が後退する前に通知を行う。これにより、運転者が後退前に、安全確認を行うことができる。
 さらには、通知を行うのは、運転者が安全確認しにくい場所に限るものではなく、見通しの良い場所で通知を行っても良い。図12は、見通しの良い交差点を車両1が走行している場合を例示した図である。図12に示される例では、見通しの良い交差点を、車両1及び車両1201が走行している場合とする。図12に示される交差点は、見通しの良い農道等であって、信号等は設けられていないものとする。このような状況では、車両1を運転している運転者の視野に、車両1201が含まれている。
 図12に示される例では、車両1が経路1200に従って、位置1221、位置1222と進行している場合に、車両1201が、経路1210に従って、位置1231、位置1232と進行しているものとする。
 ところで、人間の目は、視野中で同じ位置に物体が存在し続ける場合に、当該物体を認識できないという現象が生じる。図12に示される例では、車両1から見ると、車両1201が相対的に同じ位置に存在する。このような場合に、運転者の視野に車両1201が含まれているにもかかわらず、車両1201を認識できないという現象が生じる。このような場合、運転者は、頭の位置を移動させて相対的な位置を少しずらすことで、車両1201を認識できる。
 そこで、本実施形態では、カーナビゲーション装置11からの走行先環境データに基づいて、車両1の移動経路上の、見通しの良い交差点であることを認識した場合に、比較部406が、このような交通環境で、運転者が頭の位置を移動させて周囲を確認する動作を過去に行っていないと判定した場合、通知部407が、頭を動かして周囲を確認する旨の通知を行う。このような通知は、例えば、位置1221等で行うものとする。当該通知に従って、運転者が安全確認を行うことで、車両1201の存在を認識できる。これにより、見通しの良い交差点における安全性の向上を図ることができる。
 次に、動作履歴データベース401を更新するまでの処理について説明する。図13は、本実施形態の運転支援システム100における動作履歴データベースを更新するまでの処理手順を示したフローチャートである。
 まず、顔画像入力部411は、運転者の顔を撮像した撮像画像データを取得する(ステップS1301)。次に、顔データ計測部412は、撮像画像データから、複数人の被験者の顔形状、目や口等の顔部品の特徴点を抽出して、平均的な顔形状、顔部品の位置等の三次元顔構造データを計測する(ステップS1302)。
 なお、顔データ計測部412は、ステップS1301で撮像した被験者の種々の変化の動作の撮像画像から、例えば、非特許文献「Active Appearance Model 探索による目領域構造の自動抽出 森山 剛 金出 武雄 Jeffrey F. Cohn 小沢 慎治『画像の認識・理解シンポジウム(MIRU2006)』」に示されるような三次元顔モデル作成の手順に従って、主成分分析等の統計的データ解析手法により、目の形状の段階的な変化の状態に対応する形状パラメータを抽出する。 
 そして、顔データ計測部412は、目の形状の段階的な変化の状態と形状パラメータとを示した変化情報を生成する。当該変化情報と運転者の顔の位置と、により、運転者の視線の方向を特定できる。
 モデル生成部413は、計測された三次元顔構造データである平均的な顔形状、顔部品の位置、および変化情報を、三次元顔モデルとして生成する(S1303)。
 次に、動作取得部414が、3次元顔モデルから、運転者が行った動作に関する情報を取得する(ステップS1304)。運転者が行った動作に関する情報の取得は、運転者が運転を行っている間継続的に行われているものとする。
 そして、履歴更新部415が、ステップS1304で取得された運転者が行った動作に関する情報と、運転者が当該動作を行った際の交通環境を示したデータと、を対応付けて動作履歴データベース401を更新する(ステップS1305)。
 上述した処理手順により、運転者が交通環境で行った動作が蓄積されていくことになる。
(第2の実施形態)
 第1の実施形態では、車両1の走行先の交通環境を示した走行先環境データを、カーナビゲーション装置11から取得する例について説明した。しかしながら、上述した実施形態は、このような取得手法に制限するものではない。そこで、第2の実施形態では、運転者の運転状態に基づいて推測する例について説明する。
 図14は、本実施形態のECU1400の機能的構成を示すブロック図である。図14に示されるECU1400は、第1の実施形態のECU14の代わりに設けられるものであって、第1の実施形態の取得部403と処理が異なる取得部1402を備えている他に、運転状態データベース1401が追加されたものとする。
 運転状態データベース1401(運転状態記憶部)は、車両1における運転者の運転状態を示す運転状態情報を、当該運転状態時の交通環境に関する情報と対応付けて記憶している。つまり、運転状態データベース1401を参照することで、現在の運転状態から、現在の交通環境及び走行先の交通環境の推定を実現する。
 例えば、運転状態データベース1401には、車両1が交差点より前の所定の地点で第1の速度で走行している場合には当該交差点を右折することが多いことを示す情報が格納されている。
 そこで、取得部1402は、運転状態データベース1401を参照することで、現在の運転状況に基づいて、走行先の交通環境での車両1の走行を推定する。例えば、車両1が交差点より前の所定の地点で第1の速度で走行している場合には、当該交差点で右折すると推定する。このように、カーナビゲーション装置11に目的地までの経路が設定されていない場合でも、車両1の運転状態に基づいて、車両1の走行先を推測し、当該走行先の車両1の交通環境を推測できる。
 これにより、本実施形態のECU1400においては、例えば、取得部1402が、車両1が次の交差点で右折すると推測し、比較部406が交差点で車両1が右折する際に過去に運転者が行った安全動作が要件を満たしているか否かを比較し、通知部407が、当該比較結果に基づいた通知を実現できる。
 また、本実施形態は、このような運転者の過去の運転状態に基づいた移動経路の推定に制限するものではない。例えば、取得部1402は、車両1がよく使用する経路上に存在する場合、目的地までの移動経路が設定されていなくとも、当該よく使用する経路に従って移動することを前提に、車両1の交通環境を推定しても良い。例えば、車両が平日の朝に起動した場合には、会社までの移動経路に従って進むことを前提に、交通環境を示す情報を取得しても良い。
 上述した実施形態では、車両1がある交通環境に入る前に、当該交通環境に基づいた通知を事前に行うこととした。当該通知は、当該交通環境に関する安全確認を促すことができる。また、当該通知により、運転者は、事前に安全確認を行うことができる。これにより、安全性の向上を図ることができる。
 本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。

Claims (5)

  1.  車両が現在走行している地点から、所定時間経過後に前記車両が走行する地点の環境を示した第1環境情報を取得する取得部と、
     車両が走行した地点の環境を示した第2環境情報と、当該第2環境情報で示された環境で運転者が行うべき動作を示した確認動作情報と、を対応付けて記憶する確認情報記憶部と、
     第3環境情報と、当該第3環境情報で示された環境で運転者が実際に行った動作を示した実動作情報と、を対応付けて記憶する動作情報記憶部と、
     前記第1環境情報で示された環境の前記第2環境情報と前記確認情報記憶部で対応付けられた前記確認動作情報と、前記第1環境情報で示された環境の前記第3環境情報と前記動作情報記憶部で対応付けられた前記実動作情報と、を比較する比較部と、
     前記比較部の比較結果に基づいて、前記第1環境情報で示された環境を車両が走行する前に、通知を行う通知部と、
     を備える運転支援装置。
  2.  前記車両を運転している運転者の動作を示した動作情報を取得する動作取得部と、
     前記第3環境情報と、前記第3環境情報で示された環境を前記車両が走行している時の運転者の動作として前記動作取得部により取得された前記動作情報と、を対応付けて前記動作情報記憶部を更新する更新部と、
     をさらに備える請求項1に記載の運転支援装置。
  3.  前記取得部は、地図情報に基づいて前記車両の目的地までの経路を導出する車両案内装置から、前記第1環境情報を取得する、
     請求項1又は2に記載の運転支援装置。
  4.  前記第3環境情報と、前記第3環境情報で示された地点の環境を走行する際の運転者の運転状態が示された運転状態情報と、を対応付けて記憶する運転状態記憶部を備え、
     前記取得部は、運転者の現在の運転状態を示した前記運転状態情報と前記運転状態記憶部で対応付けられた前記第3環境情報に基づいて、前記車両の進行方向として推測される、前記第1環境情報を取得する、
     請求項1又は2に記載の運転支援装置。
  5.  前記比較部は、前記実動作情報で示された、運転者が実際に行った動作である、運転者の視野の範囲が、前記確認動作情報で示された確認すべき視野の範囲と比べて、広いか否かを判定し、
     前記通知部は、前記実動作情報で示された運転者の視野の範囲が、前記確認動作情報で示された、確認すべき視野の範囲と比べて広くないと判定した場合に、通知を行う、
     請求項1乃至4のうちいずれか一つに記載の運転支援装置。
PCT/JP2016/067381 2015-07-30 2016-06-10 運転支援装置 WO2017018073A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112016003438.5T DE112016003438T5 (de) 2015-07-30 2016-06-10 Fahrassistenzeinrichtung
US15/746,631 US10347126B2 (en) 2015-07-30 2016-06-10 Driving assistance device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-151236 2015-07-30
JP2015151236A JP6520531B2 (ja) 2015-07-30 2015-07-30 運転支援装置

Publications (1)

Publication Number Publication Date
WO2017018073A1 true WO2017018073A1 (ja) 2017-02-02

Family

ID=57884326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/067381 WO2017018073A1 (ja) 2015-07-30 2016-06-10 運転支援装置

Country Status (4)

Country Link
US (1) US10347126B2 (ja)
JP (1) JP6520531B2 (ja)
DE (1) DE112016003438T5 (ja)
WO (1) WO2017018073A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10089880B2 (en) * 2016-11-08 2018-10-02 International Business Machines Corporation Warning driver of intent of others
CN110268455B (zh) * 2017-02-15 2022-12-09 三菱电机株式会社 驾驶状态判定装置及驾驶状态判定方法
JP7191509B2 (ja) * 2017-11-21 2022-12-19 株式会社シマノ 制御システム
JP2019174461A (ja) * 2018-03-28 2019-10-10 株式会社リコー 画像制御装置、表示装置、移動体、画像データ生成方法、及びプログラム
JP7067353B2 (ja) * 2018-08-09 2022-05-16 トヨタ自動車株式会社 運転者情報判定装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262388A (ja) * 2007-04-12 2008-10-30 Toyota Central R&D Labs Inc 安全確認アドバイス装置
JP2009123182A (ja) * 2007-10-23 2009-06-04 Denso Corp 安全確認判定装置および運転教示支援システム
JP2009145060A (ja) * 2007-12-11 2009-07-02 Denso Corp カーナビゲーションシステム
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3116408B2 (ja) 1991-05-07 2000-12-11 カシオ計算機株式会社 運転監視装置
JP4342708B2 (ja) 2000-09-06 2009-10-14 本田技研工業株式会社 ドライバの視線領域の適合性を判定する車載情報処理装置
JP4305057B2 (ja) 2003-05-22 2009-07-29 日産自動車株式会社 脇見検出装置
JP2012103849A (ja) * 2010-11-09 2012-05-31 Denso Corp 情報提供装置
JP6007848B2 (ja) * 2013-03-28 2016-10-12 富士通株式会社 目視確認評価装置、方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008262388A (ja) * 2007-04-12 2008-10-30 Toyota Central R&D Labs Inc 安全確認アドバイス装置
JP2009123182A (ja) * 2007-10-23 2009-06-04 Denso Corp 安全確認判定装置および運転教示支援システム
JP2009145060A (ja) * 2007-12-11 2009-07-02 Denso Corp カーナビゲーションシステム
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置

Also Published As

Publication number Publication date
DE112016003438T5 (de) 2018-05-03
US20180211535A1 (en) 2018-07-26
JP2017033194A (ja) 2017-02-09
US10347126B2 (en) 2019-07-09
JP6520531B2 (ja) 2019-05-29

Similar Documents

Publication Publication Date Title
CN108068825B (zh) 用于无人驾驶车辆(adv)的视觉通信系统
WO2017018073A1 (ja) 運転支援装置
JP6067635B2 (ja) 駐車支援装置
CN105324267B (zh) 驾驶支援装置
JP6380002B2 (ja) 周辺監視装置
JP4745403B2 (ja) 情報処理装置及びその制御方法等
US11620834B2 (en) Periphery monitoring device
CN110582436B (zh) 转向辅助系统和方法
JP2017189989A (ja) 車線維持装置
CN111220175B (zh) 信息输出装置、输出控制方法及存储介质
JP2018081363A (ja) 運転支援装置
JP2019116244A (ja) 車両
JP2018074286A (ja) 運転支援装置
US20190206256A1 (en) Motor vehicle having a sound capture device
JP2017191472A (ja) 画像表示方法及び画像表示装置
JP2008026159A (ja) 周辺監視システム
JP2018184140A (ja) 駐車支援装置
JP2022126240A (ja) 車両用表示装置
JP5424014B2 (ja) 衝突警戒車両検出システム
US20230132456A1 (en) Image processing device, mobile object, image processing method, and storage medium
JP5831269B2 (ja) 運転支援装置
JP7467521B2 (ja) 制御装置
JP7424144B2 (ja) 車両用表示装置および車両用表示方法
JP2022186083A (ja) 車載装置及び車載用発光制御方法
JP2021012414A (ja) ヘッドアップディスプレイ装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16830178

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15746631

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112016003438

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16830178

Country of ref document: EP

Kind code of ref document: A1