JP6419401B1 - 運転支援装置及び運転支援方法 - Google Patents
運転支援装置及び運転支援方法 Download PDFInfo
- Publication number
- JP6419401B1 JP6419401B1 JP2018539917A JP2018539917A JP6419401B1 JP 6419401 B1 JP6419401 B1 JP 6419401B1 JP 2018539917 A JP2018539917 A JP 2018539917A JP 2018539917 A JP2018539917 A JP 2018539917A JP 6419401 B1 JP6419401 B1 JP 6419401B1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- oversight
- driver
- vehicle
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000003384 imaging method Methods 0.000 claims abstract description 64
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 230000000007 visual effect Effects 0.000 claims description 44
- 230000004044 response Effects 0.000 claims description 8
- 230000000694 effects Effects 0.000 claims description 2
- 230000000763 evoking effect Effects 0.000 claims 1
- 238000012790 confirmation Methods 0.000 description 24
- 238000010586 diagram Methods 0.000 description 16
- 230000000295 complement effect Effects 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000009434 installation Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000012806 monitoring device Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
- B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
- B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/18—Propelling the vehicle
- B60W30/18009—Propelling the vehicle related to particular drive situations
- B60W30/18154—Approaching an intersection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
- B60W40/06—Road conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3667—Display of a road map
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/18—Eye characteristics, e.g. of the iris
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
- B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
- B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
- B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/225—Direction of gaze
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Automation & Control Theory (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Mechanical Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Ophthalmology & Optometry (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- General Engineering & Computer Science (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Signal Processing (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
Description
このため、運転者が本来確認すべき方向を見ているかどうかはまったく考慮されておらず、安全性の向上にはつながらないという問題がある。
図1は、実施の形態1に係る運転支援装置100の構成を概略的に示すブロック図である。
実施の形態1に係る運転支援装置100は、車両周囲撮像部101と、運転者撮像部102と、視線方向検出部103と、車両位置検出部104と、地図情報記憶部105と、道路状態判定部106と、入力部107と、経路探索部108と、目視必要方向情報記憶部109と、目視必要方向決定部110と、見落とし方向判定部111と、注意喚起部112と、出力部113とを備える。
車両周囲撮像部101は、左前方撮像部101aと、右前方撮像部101bと、左側方撮像部101cと、右側方撮像部101dと、左後方撮像部101eと、右後方撮像部101fとを備える。
右前方撮像部101bは、その車両の右前方向の映像を撮像する。
左側方撮像部101cは、その車両の左側方向の映像を撮像する。
右側方撮像部101dは、その車両の右側方向の映像を撮像する。
左後方撮像部101eは、その車両の左後方向の映像を撮像する。
右後方撮像部101fは、その車両の右後方向の映像を撮像する。
図2において、車両120には、運転支援装置100が搭載されているものとする。
左前方撮像部101aは、車両120のフロントの中央に、その光軸が前方正面に対して左45度の角度で設置されている。
右前方撮像部101bは、車両120のフロントの中央に、その光軸が前方正面に対して右45度の角度で設置されている。
左側方撮像部101cは、車両120の左側に、その光軸が車両120の前方正面に対して左90度の角度で設置されている。
右側方撮像部101dは、車両120の右側に、その光軸が車両120の前方正面に対して右90度の角度で設置されている。
左後方撮像部101eは、車両120のバックの中央に、その光軸が車両120の後方正面に対して右45度の角度で設置されている。
右後方撮像部101fは、車両120のバックの中央に、その光軸が車両120の後方正面に対して左45度の角度で設置されている。
図2に示されているようにこれらの撮像部101a〜101fを配置することにより、これらの撮像部101a〜101fの水平画角が90度であれば、車両120の前方及び後方については、死角無く撮像することができる。なお、水平画角は、水平方向において撮像する範囲である。
なお、これらの撮像部101a〜101fの光軸は、地面に対して、平行となっていることが望ましい。
視線方向検出部103は、運転者撮像部102で撮像された映像から、運転者の顔の向き及びその眼球の向きを検出し、運転者の視線の方向である視線方向を検出する。なお、視線方向検出部103は、運転者の顔の向きのみを用いて、運転者の視線方向を検出してもよい。なお、視線方向検出部103は、検出された視線方向を示す視線方向情報を見落とし方向判定部111に与える。
図3において、視線方向は、車両120の運転者121の位置から車両120の正面方向を見た場合の視線方向122と、運転者121が見ている視線方向123との間のなす角度で示される。運転者121が見ている視線方向123との間のなす角度は、車両120を真上から見て時計周りの方向を正とする。従って、運転者121が右真横を見た場合の視線方向は90度、運転者121が真後ろを見た場合の視線方向は180度、運転者121が左真横を見た場合の視線方向は270度となる。
ポイントデータ及びリンクデータは、それぞれ属性情報を持っている。例えば、ポイントデータの属性情報は、信号の有無等であり、リンクデータの属性情報は、道路種別、道幅及び車線数等である。
経路探索部108は、地図情報記憶部105が記憶する地図情報に基づいて、入力された目的地までの経路を探索する。具体的には、経路探索部108は、地図情報記憶部105が記憶する地図情報を参照して、入力された出発地の位置と、入力された目的地の位置とから車両120の経路の探索を行い、探索された経路を示す経路情報を生成する。経路情報は、車両120が出発地から目的地に到達するための経路を示す情報である。経路情報は、例えば、車両120が通過するノードの位置及びノードにおける進行方向を示す。進行方向は、例えば、左折、右折又は直進である。
なお、ここでは、入力部107は、出発地の位置の入力も受け付けているが、出発地の入力は、必ずしも必要ではない。例えば、経路探索部108は、車両位置検出部104で検出される車両位置を出発地として、目的地までの経路を探索してもよい。
図4は、目視必要方向情報の一例である目視必要方向テーブル109aを示す概略図である。
目視必要方向テーブル109aは、判断条件列109bと、目視必要方向列109cとを有する。
判断条件列109bは、道路状態列109dと、進行方向列109eとを有する。
目視必要方向列109cは、左前方列109fと、右前方列109gと、左側方列109hと、右側方列109iと、左後方列109jと、右後方列109kとを有する。
進行方向列109eは、進行方向を格納する。進行方向列109eが空欄の場合には、条件として進行方向が定義されていないこと、言い換えると、全ての進行方向が条件に該当することを示しているものとする。
例えば、左前方列109f、右前方列109g、左側方列109h、右側方列109i、左後方列109j又は右後方列109kに「YES」が格納されている場合には、同じ行の道路状態及び進行方向において、対応する方向が目視必要方向であることを示す。一方、左前方列109f、右前方列109g、左側方列109h、右側方列109i、左後方列109j又は右後方列109kに「NO」が格納されている場合には、同じ行の道路状態及び進行方向において、対応する方向が目視必要方向ではないことを示す。
なお、ここでは、条件を道路状態及び進行方向としたが、信号の有無を含めても良い。
図5に示すように、0度≦視線方向<45度の場合、右前方の目視必要方向に視線方向が含まれる。45度≦視線方向<135度の場合、右側方の目視必要方向に視線方向が含まれる。135度≦視線方向<180度の場合、右後方の目視必要方向に視線方向が含まれる。180度≦視線方向<225度の場合、左後方の目視必要方向に視線方向が含まれる。225度≦視線方向<315度の場合、左側方の目視必要方向に視線方向が含まれる。315度≦視線方向<359度の場合、左前方の目視必要方向に視線方向が含まれる。
例えば、注意喚起部112は、車両周囲撮像部101が撮像した複数の映像の内、見落とし方向判定部111が判定した見落とし方向に対応する映像である見落とし方向映像を、出力部113に表示させる。また、注意喚起部112は、見落とし方向判定部111が判定した見落とし方向の注意を喚起する音声を、出力部113に出力させる。具体的には、出力部113は、左前方が見落とし方向と判定された場合、「左前方に注意ください」等の音声を流す。
音声出力部113aは、注意喚起部112からの指示に応じて、運転者に、見落とし方向の注意を喚起するために、見落とし方向に注意する旨の音声を出力する。
表示部113bは、注意喚起部112からの指示に応じて、見落とし方向に対応する映像である見落とし方向映像を表示する。
運転支援装置100は、左前方カメラ130aと、右前方カメラ130bと、左側方カメラ130cと、右側方カメラ130dと、左後方カメラ130eと、右後方カメラ130fと、運転者モニタカメラ131と、プロセッサ132と、メモリ133と、GPS(Global Positioning System)受信機134と、方位センサ135と、車速センサ136と、グラフィックコントローラ137と、グラフィックメモリ138と、ディスプレイ139と、音声出力回路140と、スピーカ141と、入力装置142とを備える。
プロセッサ132は、メモリ133に記憶されているプログラムを実行することで、運転支援装置100での処理を行う。
メモリ133は、運転支援装置100での処理を実現するためのプログラム及び運転支援装置100での処理に必要な情報を記憶する。
方位センサ135は、車両の方向を検出するものであり、例えば、ジャイロスコープ等である。
車速センサ136は、車両の速度を検出する。
グラフィックメモリ138は、車両周囲撮像部101で撮像された映像の映像データ及びグラフィックコントローラ137で生成された画像の画像データを保存する。
ディスプレイ139はグラフィックメモリ138に保存されている映像データの映像及び画像データの画像を表示する表示装置である。ディスプレイ139は、例えば、車内の運転者が確認できる位置、例えば、正面メーター内又はセンターコンソール等の位置に設置されている液晶モニタ等である。もちろん、ディスプレイ139は、液晶モニタに限定されるものではない。
スピーカ141は、音声出力回路140が生成した音声信号を受けて音声を出力する。
入力装置142は、指示の入力を受け付ける、ボタン等の装置である。
メモリ133に格納されているプログラムに基づき、プロセッサ132が運転者モニタカメラ131を制御することにより、運転者撮像部102を実現することができる。
プロセッサ132がメモリ133を制御することで、地図情報記憶部105及び目視必要方向情報記憶部109が実現される。
メモリ133に格納されるプログラムを実行することで、視線方向検出部103、道路状態判定部106、経路探索部108、目視必要方向決定部110、見落とし方向判定部111及び注意喚起部112が実現される。
メモリ133に格納されるプログラムに基づき、プロセッサ132が、グラフィックコントローラ137、グラフィックメモリ138、ディスプレイ139、音声出力回路140及びスピーカ141を制御することで、出力部113が実現される。
図8は、実施の形態1に係る運転支援装置100を搭載した車両120がT字路にいる時の状態を示す概略図である。
図8において、車両120は、T字路の手前に一時停止している。他の車両124は、T字路右方向からT字路に向けて移動している。T字路左方向から歩行者125がT字路に向けて移動している。T字路は、塀126、塀127及び塀128によって囲まれており、車両120の運転者121の視界が妨げられている。
なお、ここでは、車両120の運転者121は、入力部107を介して、出発地及び目的地を入力し、経路探索部108は、出発地から目的地までの経路を示す経路情報を生成し、その経路情報を目視必要方向決定部110に与えているものとする。
なお、見落とし方向がある場合には、見落とし方向判定部111は、見落とし方向を示す見落とし方向情報を注意喚起部112に与える。
具体的には、見落とし方向情報が左前方であれば、次の音声が出力される。「左前方を確認していません。注意して下さい。」
または、注意喚起部112は、見落とし方向の映像を出力部113に表示させてもよい。
さらに、注意喚起部112は、出力部113に音声及び映像の両方を出力させてもよい。
まず、見落とし方向判定部111は、目視必要方向決定部110から与えられる目視必要方向情報で示される目視必要方向の各々の目視確認回数を0に初期化する(S20)。具体的には、見落とし方向判定部111は、目視必要方向決定部110から与えられる目視必要方向情報に基づいて、図10に示されているような、目視確認実施回数テーブル111aを生成する。
目視確認方向列111bの各々の行は、目視必要方向決定部110から与えられる目視必要方向情報で示される目視必要方向の各々を、目視確認方向として格納する。図10は、目視必要方向情報で示される目視必要方向が、左前方、右前方、右側方及び右後方である場合の例を示している。
目視確認回数列111cの各々の行は、同じ行に格納されている目視確認方向を目視した回数を格納する。
次に、見落とし方向判定部111は、見落とし方向判定開始時刻Tstartを現在時刻に設定する(S22)。
次に、見落とし方向判定部111は、視線方向情報で示される視線方向から、目視確認方向を判定する(S24)。目視確認方向の判定は、図5を用いて説明した目視必要方向の判定と同様である。例えば、視線方向が30度であるとすると、図5に示されているように、目視確認方向は、右前方と判定される。
図11は、実施の形態2に係る運転支援装置200の構成を概略的に示すブロック図である。
実施の形態2に係る運転支援装置200は、車両周囲撮像部101と、運転者撮像部102と、視線方向検出部103と、車両位置検出部104と、地図情報記憶部105と、道路状態判定部106と、入力部107と、経路探索部108と、目視必要方向情報記憶部109と、目視必要方向決定部110と、見落とし方向判定部111と、注意喚起部212と、出力部113と、移動物体検出部214とを備える。
実施の形態2における車両周囲撮像部101、運転者撮像部102、視線方向検出部103、車両位置検出部104、地図情報記憶部105、道路状態判定部106、入力部107、経路探索部108、目視必要方向情報記憶部109、目視必要方向決定部110、見落とし方向判定部111及び出力部113は、実施の形態1における対応する部分と同様である。
但し、見落とし方向判定部111は、見落とし方向を示す見落とし方向情報を移動物体検出部214に与える。
また、移動物体検出部214は、見落とし方向に対応する映像の映像データを注意喚起部212に与える。
例えば、注意喚起部212は、移動物体検出部214から与えられた注意喚起情報に基づいて、移動物体が検出された見落とし方向について、音声を使って注意喚起を行う。具体的には、注意喚起部212は、予め準備された見落とし方向別の注意喚起の音声データから、移動物体の検出された見落とし方向に対応する音声データを選択して、選択された音声データを出力部113に与えることで、音声出力部113aにその音声データに対応する音声を出力させればよい。ここでは、移動物体に注意する旨の音声が出力されればよい。一例として、左後方が、移動物体の検出された見落とし方向であれば、「左後方に移動物体があります。ご注意下さい。」という音声を、音声出力部113aが出力する。このような場合、移動物体検出部214は、注意喚起情報として、移動物体が検出された見落とし方向を示す移動物体検出情報を注意喚起部212に与えればよい。また、注意喚起部212は、実施の形態1と同様に、見落とし方向の注意を喚起する音声も音声出力部113aに出力させてもよい。さらに、注意喚起部212は、検出された移動物体の数、位置及び大きさの少なくとも1つも出力部113から出力させる音声に含めてもよい。
なお、見落とし方向の映像データは、注意喚起情報に含まれていてもよい。
ここでは、枠により移動物体が示されているが、例えば、矢印等により移動物体が示されてもよい。言い換えると、映像中で移動物体を特定できるような表示であれば、どのような表示方法であってもよい。
図12において、T字路の左前方から人が歩いてきている場合、移動物体検出部214が、人を検出して、人の位置及び大きさを示す情報を移動物体検出情報として注意喚起部212に与える。注意喚起部212は、人の位置及び大きさを示す情報を元に、映像250に枠250aを追加する。また、注意喚起部212は、同時に音声として予め準備された見落とし方向別の注意を喚起するための音声の音声データを選択して出力部113に与える。見落とし方向が左前方であれば、「左前方に移動物体があります。ご確認下さい。」という音声が出力部113から出力される。
図13は、実施の形態3に係る運転支援装置300の構成を概略的に示すブロック図である。
実施の形態3に係る運転支援装置300は、車両周囲撮像部101と、運転者撮像部102と、視線方向検出部103と、車両位置検出部104と、地図情報記憶部105と、道路状態判定部106と、入力部107と、経路探索部108と、目視必要方向情報記憶部109と、目視必要方向決定部110と、見落とし方向判定部311と、注意喚起部312と、出力部113と、見落とし回数記憶部315とを備える。
実施の形態3における車両周囲撮像部101、運転者撮像部102、視線方向検出部103、車両位置検出部104、地図情報記憶部105、道路状態判定部106、入力部107、経路探索部108、目視必要方向情報記憶部109、目視必要方向決定部110及び出力部113は、実施の形態1における対応する部分と同様である。
見落とし回数テーブル351aは、判断条件列351bと、見落とし回数列351cとを有する。
判断条件列351bは、道路状態列351dと、進行方向列351eとを有する。
見落とし回数列351cは、左前方列351fと、右前方列351gと、左側方列351hと、右側方列351i、左後方列351jと、右後方列351kとを有する。
進行方向列351eは、進行方向を格納する。進行方向列351eが空欄の場合には、条件として進行方向が定義されていないこと、言い換えると、全ての進行方向が条件に該当することを示しているものとする。
例えば、道路状態列351dが「T字路」で、進行方向列351eが「左折」である行の左前方列351fに「1」が格納されている場合には、そのような条件において左前方が見落とし方向と判断された回数が「1」であることを示す。
なお、ここでは、判断条件を道路状態及び進行方向としたが、信号の有無が含まれていてもよい。
見落とし方向判定部311は、その後、実施の形態1と同様に、一定時間の間、運転者の視線方向を特定し、見落とし方向を判定するとともに、見落とし回数情報において、判定された見落とし方向の見落とし回数に「1」を加算する。
次に、目視必要方向決定部110は、道路状態及び経路探索部108が持つ経路情報から進行方向を求め、目視必要方向を決定する。例えば、道路状態がT字路、進行方向が右折方向であった場合、図4に示されている目視必要方向テーブル109aにより、目視必要方向は、左前方、右前方、右側方及び右後方となる。
また、注意喚起部312は、出力部113に、上述の音声及び映像の両方を出力させてもよい。
Claims (7)
- 地図情報を記憶する地図情報記憶部と、
目的地の入力を受け付ける入力部と、
前記地図情報に基づいて、前記目的地までの経路を探索する経路探索部と、
車両の位置である車両位置を検出する車両位置検出部と、
前記地図情報に基づいて、前記車両位置における道路状態を判定する道路状態判定部と、
前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定するとともに、前記経路から前記車両の進行方向を特定し、前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定する目視必要方向決定部と、
前記運転者の映像である運転者映像を撮像する運転者撮像部と、
前記運転者映像から、前記運転者の視線の方向である視線方向を検出する視線方向検出部と、
前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定する見落とし方向判定部と、
前記運転者に、前記見落とし方向の注意を喚起する注意喚起部と、
前記車両の周囲の複数の方向に対応する複数の映像を撮像する車両周囲撮像部と、
前記注意喚起部からの指示に応じて、前記複数の映像の内、前記見落とし方向に対応する映像である見落とし方向映像を表示する表示部と、を備えること
を特徴とする運転支援装置。 - 前記注意喚起部からの指示に応じて、前記運転者に、前記見落とし方向の注意を喚起するために、前記見落とし方向に注意する旨の音声を出力する音声出力部をさらに備えること
を特徴とする請求項1に記載の運転支援装置。 - 前記見落とし方向映像から、移動する移動物体を検出する移動物体検出部をさらに備え、
前記表示部は、前記見落とし方向映像に、前記移動物体を示す画像を追加して表示すること
を特徴とする請求項1に記載の運転支援装置。 - 前記表示部は、前記画像として、前記移動物体に対応する位置に枠を表示すること
を特徴とする請求項3に記載の運転支援装置。 - 前記注意喚起部からの指示に応じて、前記移動物体に注意する旨の音声を出力する音声出力部をさらに備えること
を特徴とする請求項3又は4に記載の運転支援装置。 - 前記分岐の複数の種類の各々及び複数の進行方向の各々の組み合わせに対応する目視必要方向毎に、前記見落とし方向として判定された回数を記憶する見落とし回数記憶部をさらに備え、
前記注意喚起部は、前記特定された種類と前記特定された進行方向に対応する前記目視必要方向の前記回数が、予め定められた閾値以上である場合に、前記見落とし方向の注意を喚起する前に、前記回数が前記予め定められた閾値以上となっている前記目視必要方向である見落とし事前注意喚起方向に注意するように、前記運転者に通知を行うこと
を特徴とする請求項1から5の何れか一項に記載の運転支援装置。 - 目的地の入力を受け付け、
地図情報に基づいて、前記目的地までの経路を探索し、
車両の位置である車両位置を検出し、
前記地図情報に基づいて、前記車両位置における道路状態を判定し、
前記道路状態が分岐を示している場合に、前記道路状態から前記分岐の種類を特定し、
前記経路から前記車両の進行方向を特定し、
前記特定された種類及び前記特定された進行方向に対応して、前記車両の運転者が目視する必要のある方向である目視必要方向を決定し、
前記運転者の映像である運転者映像から、前記運転者の視線の方向である視線方向を検出し、
前記目視必要方向の内、前記視線方向を含まない方向を見落とし方向として判定し、
前記運転者に、前記見落とし方向の注意を喚起し、
前記車両の周囲の複数の方向に対応する複数の映像を撮像し、
前記複数の映像の内、前記見落とし方向に対応する映像である見落とし方向映像を表示すること
を特徴とする運転支援方法。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/008182 WO2019167285A1 (ja) | 2018-03-02 | 2018-03-02 | 運転支援装置及び運転支援方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6419401B1 true JP6419401B1 (ja) | 2018-11-07 |
JPWO2019167285A1 JPWO2019167285A1 (ja) | 2020-04-09 |
Family
ID=64098710
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018539917A Active JP6419401B1 (ja) | 2018-03-02 | 2018-03-02 | 運転支援装置及び運転支援方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US20200391752A1 (ja) |
JP (1) | JP6419401B1 (ja) |
CN (1) | CN111788618A (ja) |
DE (1) | DE112018006951T5 (ja) |
WO (1) | WO2019167285A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020197952A (ja) * | 2019-06-03 | 2020-12-10 | 学校法人早稲田大学 | 状況認識推定システム及び運転支援システム |
CN112277798A (zh) * | 2020-10-29 | 2021-01-29 | 西安工业大学 | 一种汽车行驶防碰撞系统和控制方法 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7206750B2 (ja) * | 2018-09-26 | 2023-01-18 | 日本電気株式会社 | 運転支援装置 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014234037A (ja) * | 2013-05-31 | 2014-12-15 | 株式会社デンソー | 車両用報知装置 |
JP2015141432A (ja) * | 2014-01-27 | 2015-08-03 | 株式会社デンソー | 車両運転評価システム |
JP2017111649A (ja) * | 2015-12-17 | 2017-06-22 | 大学共同利用機関法人自然科学研究機構 | 視覚認知支援システムおよび視認対象物の検出システム |
JP2017136687A (ja) * | 2016-02-01 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 樹脂管およびその製造方法 |
JP2017151606A (ja) * | 2016-02-23 | 2017-08-31 | 株式会社デンソー | 脇見見落とし注意システム及びコンピュータプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004199148A (ja) * | 2002-12-16 | 2004-07-15 | Toshiba Corp | 車両の運転支援装置 |
US8085140B2 (en) * | 2006-09-04 | 2011-12-27 | Panasonic Corporation | Travel information providing device |
JP4412365B2 (ja) * | 2007-03-26 | 2010-02-10 | アイシン・エィ・ダブリュ株式会社 | 運転支援方法及び運転支援装置 |
JP2010033106A (ja) * | 2008-07-24 | 2010-02-12 | Fujitsu Ten Ltd | 運転者支援装置、運転者支援方法および運転者支援処理プログラム |
JP2014048978A (ja) * | 2012-08-31 | 2014-03-17 | Denso Corp | 移動体警告装置、および移動体警告方法 |
JP5492962B2 (ja) * | 2012-09-28 | 2014-05-14 | 富士重工業株式会社 | 視線誘導システム |
US9961259B2 (en) * | 2013-09-19 | 2018-05-01 | Fujitsu Ten Limited | Image generation device, image display system, image generation method and image display method |
JP6292054B2 (ja) * | 2013-11-29 | 2018-03-14 | 富士通株式会社 | 運転支援装置、方法、及びプログラム |
US9354073B2 (en) * | 2013-12-09 | 2016-05-31 | Harman International Industries, Inc. | Eye gaze enabled navigation system |
DE102014216208A1 (de) * | 2014-08-14 | 2016-02-18 | Robert Bosch Gmbh | Verfahren und eine Vorrichtung zum Bestimmen einer Reaktionszeit eines Fahrzeugführers |
CN115871715A (zh) * | 2014-12-12 | 2023-03-31 | 索尼公司 | 自动驾驶控制设备以及自动驾驶控制方法和程序 |
KR101895485B1 (ko) * | 2015-08-26 | 2018-09-05 | 엘지전자 주식회사 | 운전 보조 장치 및 그 제어 방법 |
JP6786807B2 (ja) * | 2016-02-01 | 2020-11-18 | 富士通株式会社 | 注意喚起プログラム、注意喚起装置、注意喚起方法及び注意喚起システム |
JP2018013838A (ja) * | 2016-07-19 | 2018-01-25 | 株式会社デンソー | 運転支援装置 |
-
2018
- 2018-03-02 CN CN201880090010.5A patent/CN111788618A/zh active Pending
- 2018-03-02 DE DE112018006951.6T patent/DE112018006951T5/de active Pending
- 2018-03-02 JP JP2018539917A patent/JP6419401B1/ja active Active
- 2018-03-02 WO PCT/JP2018/008182 patent/WO2019167285A1/ja active Application Filing
-
2020
- 2020-08-28 US US17/006,113 patent/US20200391752A1/en not_active Abandoned
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014234037A (ja) * | 2013-05-31 | 2014-12-15 | 株式会社デンソー | 車両用報知装置 |
JP2015141432A (ja) * | 2014-01-27 | 2015-08-03 | 株式会社デンソー | 車両運転評価システム |
JP2017111649A (ja) * | 2015-12-17 | 2017-06-22 | 大学共同利用機関法人自然科学研究機構 | 視覚認知支援システムおよび視認対象物の検出システム |
WO2017104794A1 (ja) * | 2015-12-17 | 2017-06-22 | マツダ株式会社 | 視覚認知支援システムおよび視認対象物の検出システム |
JP2017136687A (ja) * | 2016-02-01 | 2017-08-10 | パナソニックIpマネジメント株式会社 | 樹脂管およびその製造方法 |
JP2017151606A (ja) * | 2016-02-23 | 2017-08-31 | 株式会社デンソー | 脇見見落とし注意システム及びコンピュータプログラム |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020197952A (ja) * | 2019-06-03 | 2020-12-10 | 学校法人早稲田大学 | 状況認識推定システム及び運転支援システム |
JP7432198B2 (ja) | 2019-06-03 | 2024-02-16 | 学校法人早稲田大学 | 状況認識推定システム及び運転支援システム |
CN112277798A (zh) * | 2020-10-29 | 2021-01-29 | 西安工业大学 | 一种汽车行驶防碰撞系统和控制方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2019167285A1 (ja) | 2019-09-06 |
US20200391752A1 (en) | 2020-12-17 |
CN111788618A (zh) | 2020-10-16 |
JPWO2019167285A1 (ja) | 2020-04-09 |
DE112018006951T5 (de) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4981566B2 (ja) | 運転支援装置および運転支援方法 | |
JP6419401B1 (ja) | 運転支援装置及び運転支援方法 | |
US11158190B2 (en) | Recommended driving output device, recommended driving output method and recommended driving output system | |
JP5277974B2 (ja) | 運転支援装置 | |
JP7074164B2 (ja) | 監視システム、監視方法および監視プログラム | |
JP5294562B2 (ja) | 車両周辺監視装置、その表示方法 | |
JP2007233864A (ja) | 死角支援情報報知装置及びプログラム | |
JP2007233770A (ja) | 車載周辺状況提示装置 | |
JP2005135025A (ja) | 衝突可能性判定装置 | |
CN112272946B (zh) | 车辆控制装置 | |
JP5980607B2 (ja) | ナビゲーション装置 | |
JP5513353B2 (ja) | 警報装置 | |
JPH06255423A (ja) | 車載用監視カメラ装置 | |
JP2010026619A (ja) | 車両運転支援装置 | |
JP4561627B2 (ja) | 車両周辺監視装置 | |
JP2015220729A (ja) | 車両周辺監視装置 | |
JP2014044458A (ja) | 車載機器、及び、危険報知方法 | |
JP6927787B2 (ja) | 車載器および運転支援装置 | |
JP2009181322A (ja) | 車両用表示制御装置 | |
US20230104858A1 (en) | Image generation apparatus, image generation method, and non-transitory computer-readable medium | |
JP2020085531A (ja) | 自動運転装置 | |
US11842661B2 (en) | Control method and information display system | |
JP7504327B2 (ja) | 表示制御装置および表示制御方法 | |
JP2006119904A (ja) | 車両用周辺監視装置 | |
JP2022089010A (ja) | 車載装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180730 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180730 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20180730 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20180831 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180911 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181009 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6419401 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |