JPWO2018066711A1 - 走行支援装置及びコンピュータプログラム - Google Patents
走行支援装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JPWO2018066711A1 JPWO2018066711A1 JP2018544000A JP2018544000A JPWO2018066711A1 JP WO2018066711 A1 JPWO2018066711 A1 JP WO2018066711A1 JP 2018544000 A JP2018544000 A JP 2018544000A JP 2018544000 A JP2018544000 A JP 2018544000A JP WO2018066711 A1 JPWO2018066711 A1 JP WO2018066711A1
- Authority
- JP
- Japan
- Prior art keywords
- road
- vehicle
- visibility
- driver
- captured image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000004590 computer program Methods 0.000 title claims abstract description 8
- 238000003384 imaging method Methods 0.000 claims description 23
- 238000004364 calculation method Methods 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 11
- 230000003287 optical effect Effects 0.000 claims description 11
- 238000012545 processing Methods 0.000 description 13
- 239000004973 liquid crystal related substance Substances 0.000 description 12
- 238000000034 method Methods 0.000 description 11
- 238000004891 communication Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 230000000007 visual effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000009434 installation Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000015654 memory Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
- B60W30/095—Predicting travel path or likelihood of collision
- B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/2163—Partitioning the feature space
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
- G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30256—Lane; Road marking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/08—Detecting or categorising vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Mechanical Engineering (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Medical Informatics (AREA)
- Transportation (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computational Linguistics (AREA)
- Human Computer Interaction (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Traffic Control Systems (AREA)
- Navigation (AREA)
- Image Analysis (AREA)
Abstract
Description
尚、「視認性」とは、単純に運転者から接続道路が見えるか否かのみを示す場合もあれば、運転者からの接続道路の見易さ、或いは運転者による接続道路の状況の把握し易さを示す場合もある。そして、上記「視認性」は、接続道路の全体が見えるか否かの判断指標以外に、接続道路の少なくとも一部が見えるか否か、接続道路の特定の箇所が見えるか否か等の判断指標を用いて特定される。
また、「判定結果を出力する」とは、判定結果を案内することに加えて、判定結果に基づく車両制御を行うことも含む。
現在位置検出部11は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU13に出力する。そして、ナビゲーションECU13は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置1が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置1が備える構成としても良い。
例えば図5に示すように車両の進行方向前方にある分岐点57に右方向に接続する接続道路59に対して設定した判定領域61については、分岐点57に近い区画71、72について、区画73、74よりも重複割合がより高く算出され易い算出基準を設定する。例えば区画71、72については実際に区画71、72に対して障害物が重複する割合を1.2倍した割合を重複割合として算出する。一方、区画73、74については実際に区画73、74に対して障害物が重複する割合を0.8倍した割合を重複割合として算出する。そして、区画毎に算出した重複割合を合計した値を、判定領域61に対して障害物が重複する重複割合とする。
尚、分岐点に左方向に接続する接続道路に対して設定した判定領域については、上記例と左右逆となる。
例えば区画72、74については実際に区画72、74に対して障害物が重複する割合を1.2倍した割合を重複割合として算出する。一方、区画71、73については実際に区画71、73に対して障害物が重複する割合を0.8倍した割合を重複割合として算出する。そして、区画毎に算出した重複割合を合計した値を、判定領域61に対して障害物が重複する重複割合とする。
図9に示すように車両の進行方向の所定距離(25m)前方の位置に、不可視道路の存在を示唆するエクスクラメーションマークの虚像(重畳画像)75が表示される。特に、虚像75は不可視道路の内、分岐点と接続する端部を含む範囲、即ち不可視道路の入口付近に重畳して運転者に視認されるので、不可視道路から自車両が走行する道路へと進入する他車両や歩行者がいる場合であっても、他車両や歩行者の進入に対して事前に注意を払うことが可能となる。
例えば、本実施形態では、3次元地図情報34は3次元で道路の輪郭を表現した地図画像に関する情報であるが、道路の輪郭以外の情報を表現した地図情報としても良い。例えば、施設形状、道路の区画線、道路標識、看板等についても表現した地図画像としても良い。
運転者の視線開始点及び視線方向と対応した光軸を備える撮像装置(20)によって車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段(41)と、前記撮像画像と車両周辺の地図情報とに基づいて、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路が、前記撮像画像において存在する位置を特定する接続道路特定手段(41)と、前記撮像画像における前記接続道路の位置と車両の周囲にある障害物(54〜56)の位置との位置関係に基づいて、前記接続道路の運転者からの視認性を判定する視認性判定手段(41)と、前記視認性判定手段の判定結果を出力する出力手段(41)と、を有する。
上記構成を有する走行支援装置によれば、運転者からの接続道路の視認性を判定するとともに判定結果を出力することによって、接続道路に対する適切な走行支援を行うことが可能となる。例えば、視認性が低く危険因子となり得る接続道路については案内や車両制御等の走行支援を行う一方で、不要な案内や車両制御についてはできる限り制限することが可能となる。
前記撮像画像から車両の周囲にある前記障害物の位置と形状を検出する障害物検出手段(41)を有し、前記視認性判定手段(41)は、前記障害物検出手段により検出された前記障害物の位置と形状に基づいて、前記接続道路の運転者からの視認性を判定する。
上記構成を有する走行支援装置によれば、特に車両の周囲にある障害物によって接続道路の視認性が阻害される場合において、正確な接続道路の運転者からの視認性を判定することが可能となる。
前記撮像画像における前記接続道路の一部を少なくとも含む領域に対して、前記接続道路の視認性を判定する対象となる判定領域(61)を設定する判定領域設定手段(41)を有し、前記視認性判定手段(41)は、前記判定領域内における前記接続道路と前記障害物の位置関係に基づいて前記接続道路の運転者からの視認性を判定する。
上記構成を有する走行支援装置によれば、接続道路の一部を含む特定の領域における接続道路と障害物との位置関係に基づいて接続道路の視認性を判定するので、特に運転者が接続道路を把握する際に重要となる領域を考慮して接続道路の視認性を判定することが可能となる。
前記判定領域設定手段(41)は、前記接続道路の内、分岐点と接続する端部から前記接続道路に沿って所定距離以内の道路部分を含む領域に対して前記判定領域(61)を設定する。
上記構成を有する走行支援装置によれば、特に接続道路の入口付近の範囲を対象として視認性を判定するので、接続道路から車両が走行する道路へと進入する直前の車両や歩行者を運転者から視認することができるか否かについて考慮して接続道路の視認性を判定することが可能となる。
前記視認性判定手段(41)は、前記判定領域(61)内に対して前記障害物が重複する重複割合を算出し、算出された前記重複割合に基づいて前記接続道路の運転者からの視認性を判定する。
上記構成を有する走行支援装置によれば、特に車両の周囲にある障害物によって接続道路の視認性が阻害される場合において、正確な接続道路の運転者からの視認性を判定することが可能となる。
前記視認性判定手段(41)は、前記判定領域(61)を複数の区画に区分するとともに、前記複数の区画毎に異なる算出基準で前記重複割合を算出する。
上記構成を有する走行支援装置によれば、判定領域の内、特に運転者が接続道路を把握する際に重要となる区画における視認性を考慮して接続道路の視認性を判定することが可能となる。
前記視認性判定手段(41)は、前記複数の区画の内、分岐点と接続する端部から近い区画程、前記重複割合がより高く算出され易い算出基準を設定する。
上記構成を有する走行支援装置によれば、判定領域の内、特に接続道路の入口付近の区画における視認性を重視して接続道路の視認性を判定することが可能となる。
前記視認性判定手段(41)は、前記複数の区画の内、下方にある区画程、前記重複割合がより高く算出され易い算出基準を設定する。
上記構成を有する走行支援装置によれば、判定領域の内、特に接続道路と重複する割合が高い区画における視認性を重視して接続道路の視認性を判定することが可能となる。
前記視認性判定手段(41)は、前記接続道路の道路幅に応じて前記判定領域(61)を区分する境界を変更する。
上記構成を有する走行支援装置によれば、接続道路の道路幅に応じて、判定領域の内、特に接続道路と重複する割合が高い区画を適切に区分することが可能となる。
前記視認性判定手段(41)は、前記重複割合が閾値以上の場合には前記接続道路が前記運転者から視認できないと判定するとともに、前記重複割合が閾値未満の場合には前記接続道路が前記運転者から視認できると判定する。
上記構成を有する走行支援装置によれば、特に車両の周囲にある障害物によって接続道路の視認性が阻害される場合において、障害物と接続道路の重複割合から接続道路を運転者が視認できるか否かを正確に判定することが可能となる。
前記視認性判定手段(41)は、前記障害物(54〜56)が自車両の周辺に位置する他車両である場合に、前記他車両が前記接続道路上に位置するか否かを判定し、前記他車両が前記接続道路上に位置すると判定された場合には、前記撮像画像における前記接続道路の位置と前記他車両の位置との位置関係に関わらず、前記接続道路を運転者が視認できると判定する。
上記構成を有する走行支援装置によれば、車両の周囲にある障害物によって接続道路の視認性が阻害される場合であっても、例外的に障害物が接続道路上を移動する車両である場合には、運転者が接続道路を視認できると判定することが可能となる。
13 ナビゲーションECU
19 HUD
20 車外カメラ
31 地図情報DB
32 撮像画像DB
33 2次元地図情報
34 3次元地図情報
41 CPU
42 RAM
43 ROM
51 撮像画像
52 地図情報画像
54〜56 障害物
58、59 接続道路
61 判定領域
75 虚像
Claims (12)
- 運転者の視線開始点及び視線方向と対応した光軸を備える撮像装置によって車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
前記撮像画像と車両周辺の地図情報とに基づいて、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路が、前記撮像画像において存在する位置を特定する接続道路特定手段と、
前記撮像画像における前記接続道路の位置と車両の周囲にある障害物の位置との位置関係に基づいて、前記接続道路の運転者からの視認性を判定する視認性判定手段と、
前記視認性判定手段の判定結果を出力する出力手段と、を有する走行支援装置。 - 前記撮像画像から車両の周囲にある前記障害物の位置と形状を検出する障害物検出手段を有し、
前記視認性判定手段は、前記障害物検出手段により検出された前記障害物の位置と形状に基づいて、前記接続道路の運転者からの視認性を判定する請求項1に記載の走行支援装置。 - 前記撮像画像における前記接続道路の一部を少なくとも含む領域に対して、前記接続道路の視認性を判定する対象となる判定領域を設定する判定領域設定手段を有し、
前記視認性判定手段は、前記判定領域内における前記接続道路と前記障害物の位置関係に基づいて前記接続道路の運転者からの視認性を判定する請求項1又は請求項2に記載の走行支援装置。 - 前記判定領域設定手段は、前記接続道路の内、分岐点と接続する端部から前記接続道路に沿って所定距離以内の道路部分を含む領域に対して前記判定領域を設定する請求項3に記載の走行支援装置。
- 前記視認性判定手段は、
前記判定領域内に対して前記障害物が重複する重複割合を算出し、
算出された前記重複割合に基づいて前記接続道路の運転者からの視認性を判定する請求項3又は請求項4に記載の走行支援装置。 - 前記視認性判定手段は、
前記判定領域を複数の区画に区分するとともに、前記複数の区画毎に異なる算出基準で前記重複割合を算出する請求項5に記載の走行支援装置。 - 前記視認性判定手段は、
前記複数の区画の内、分岐点と接続する端部から近い区画程、前記重複割合がより高く算出され易い算出基準を設定する請求項6に記載の走行支援装置。 - 前記視認性判定手段は、
前記複数の区画の内、下方にある区画程、前記重複割合がより高く算出され易い算出基準を設定する請求項6又は請求項7に記載の走行支援装置。 - 前記視認性判定手段は、前記接続道路の道路幅に応じて前記判定領域を区分する境界を変更する請求項6乃至請求項8のいずれかに記載の走行支援装置。
- 前記視認性判定手段は、
前記重複割合が閾値以上の場合には前記接続道路が前記運転者から視認できないと判定するとともに、前記重複割合が閾値未満の場合には前記接続道路が前記運転者から視認できると判定する請求項5乃至請求項9のいずれかに記載の走行支援装置。 - 前記視認性判定手段は、
前記障害物が自車両の周辺に位置する他車両である場合に、前記他車両が前記接続道路上に位置するか否かを判定し、
前記他車両が前記接続道路上に位置すると判定された場合には、前記撮像画像における前記接続道路の位置と前記他車両の位置との位置関係に関わらず、前記接続道路を運転者が視認できると判定する請求項10に記載の走行支援装置。 - コンピュータを、
運転者の視線開始点及び視線方向と対応した光軸を備える撮像装置によって車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段と、
前記撮像画像と車両周辺の地図情報とに基づいて、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路が、前記撮像画像において存在する位置を特定する接続道路特定手段と、
前記撮像画像における前記接続道路の位置と車両の周囲にある障害物の位置との位置関係に基づいて、前記接続道路の運転者からの視認性を判定する視認性判定手段と、
前記視認性判定手段の判定結果を出力する出力手段と、
して機能させる為のコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016199254 | 2016-10-07 | ||
JP2016199254 | 2016-10-07 | ||
PCT/JP2017/036561 WO2018066711A1 (ja) | 2016-10-07 | 2017-10-09 | 走行支援装置及びコンピュータプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018066711A1 true JPWO2018066711A1 (ja) | 2019-06-24 |
JP6658905B2 JP6658905B2 (ja) | 2020-03-04 |
Family
ID=61831788
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018543999A Active JP6700623B2 (ja) | 2016-10-07 | 2017-10-09 | 走行支援装置及びコンピュータプログラム |
JP2018544000A Active JP6658905B2 (ja) | 2016-10-07 | 2017-10-09 | 走行支援装置及びコンピュータプログラム |
JP2018544001A Expired - Fee Related JP6566145B2 (ja) | 2016-10-07 | 2017-10-09 | 走行支援装置及びコンピュータプログラム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018543999A Active JP6700623B2 (ja) | 2016-10-07 | 2017-10-09 | 走行支援装置及びコンピュータプログラム |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018544001A Expired - Fee Related JP6566145B2 (ja) | 2016-10-07 | 2017-10-09 | 走行支援装置及びコンピュータプログラム |
Country Status (5)
Country | Link |
---|---|
US (3) | US10878256B2 (ja) |
EP (3) | EP3496033A4 (ja) |
JP (3) | JP6700623B2 (ja) |
CN (3) | CN109791737A (ja) |
WO (3) | WO2018066712A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018063460A1 (en) * | 2016-09-30 | 2018-04-05 | General Electric Company | System and method for optimization of deep learning architecture |
JP7160251B2 (ja) * | 2017-01-12 | 2022-10-25 | モービルアイ ビジョン テクノロジーズ リミテッド | ナビゲーションシステム、方法、およびプログラム |
CN108346107B (zh) * | 2017-12-28 | 2020-11-10 | 创新先进技术有限公司 | 一种社交内容风险识别方法、装置以及设备 |
US11041730B2 (en) * | 2018-03-02 | 2021-06-22 | DeepMap Inc. | Reverse rendering of an image based on high definition map data |
US11846514B1 (en) | 2018-05-03 | 2023-12-19 | Zoox, Inc. | User interface and augmented reality for representing vehicles and persons |
US10809081B1 (en) * | 2018-05-03 | 2020-10-20 | Zoox, Inc. | User interface and augmented reality for identifying vehicles and persons |
US10837788B1 (en) | 2018-05-03 | 2020-11-17 | Zoox, Inc. | Techniques for identifying vehicles and persons |
CN112384760A (zh) * | 2018-05-15 | 2021-02-19 | 御眼视觉技术有限公司 | 用于自主车辆导航的系统和方法 |
JP6766844B2 (ja) * | 2018-06-01 | 2020-10-14 | 株式会社デンソー | 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置 |
US11002066B2 (en) * | 2018-06-19 | 2021-05-11 | Apple Inc. | Systems with dynamic pixelated windows |
JP7070157B2 (ja) * | 2018-06-29 | 2022-05-18 | 富士通株式会社 | 画像処理プログラム、画像処理装置及び画像処理方法 |
US11195030B2 (en) * | 2018-09-14 | 2021-12-07 | Honda Motor Co., Ltd. | Scene classification |
US20200090501A1 (en) * | 2018-09-19 | 2020-03-19 | International Business Machines Corporation | Accident avoidance system for pedestrians |
US11495028B2 (en) * | 2018-09-28 | 2022-11-08 | Intel Corporation | Obstacle analyzer, vehicle control system, and methods thereof |
US11055857B2 (en) * | 2018-11-30 | 2021-07-06 | Baidu Usa Llc | Compressive environmental feature representation for vehicle behavior prediction |
JP2022516849A (ja) * | 2019-01-18 | 2022-03-03 | ベステル エレクトロニク サナイー ベ ティカレト エー.エス. | ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両 |
US10824947B2 (en) * | 2019-01-31 | 2020-11-03 | StradVision, Inc. | Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same |
JP7228472B2 (ja) * | 2019-06-07 | 2023-02-24 | 本田技研工業株式会社 | 認識装置、認識方法、およびプログラム |
EP3970060A1 (en) * | 2019-06-10 | 2022-03-23 | Huawei Technologies Co., Ltd. | Driver attention detection using heat maps |
KR102664123B1 (ko) * | 2019-09-09 | 2024-05-09 | 현대자동차주식회사 | 차량 데이터 생성 장치 및 방법, 그리고 시스템 |
JP7139300B2 (ja) * | 2019-10-03 | 2022-09-20 | 本田技研工業株式会社 | 認識装置、認識方法、およびプログラム |
JP7407034B2 (ja) * | 2020-03-19 | 2023-12-28 | 本田技研工業株式会社 | 走行経路設定装置、走行経路を設定する方法およびプログラム |
JP7380443B2 (ja) * | 2020-06-22 | 2023-11-15 | トヨタ自動車株式会社 | 部分画像生成装置及び部分画像生成用コンピュータプログラム |
WO2022112810A1 (ja) * | 2020-11-27 | 2022-06-02 | 日産自動車株式会社 | 車両支援方法及び車両支援装置 |
JP2022123940A (ja) * | 2021-02-15 | 2022-08-25 | 本田技研工業株式会社 | 車両制御装置 |
JP2022161066A (ja) * | 2021-04-08 | 2022-10-21 | トヨタ自動車株式会社 | 表示制御システム、表示制御方法及びプログラム |
CN113899355A (zh) * | 2021-08-25 | 2022-01-07 | 上海钧正网络科技有限公司 | 地图更新方法、装置、云端服务器和共享骑行设备 |
US20230177839A1 (en) * | 2021-12-02 | 2023-06-08 | Nvidia Corporation | Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007129382A1 (ja) * | 2006-04-28 | 2007-11-15 | Panasonic Corporation | ナビゲーション装置およびその方法 |
JP2015108926A (ja) * | 2013-12-04 | 2015-06-11 | 三菱電機株式会社 | 車両用運転支援装置 |
Family Cites Families (38)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07333317A (ja) * | 1994-06-14 | 1995-12-22 | Mitsubishi Electric Corp | 移動体間距離認識装置 |
JPH09196695A (ja) * | 1996-01-18 | 1997-07-31 | Matsushita Electric Ind Co Ltd | ナビゲーション案内装置 |
US6285317B1 (en) * | 1998-05-01 | 2001-09-04 | Lucent Technologies Inc. | Navigation system with three-dimensional display |
EP1378724B1 (en) | 2002-07-01 | 2006-03-29 | Mazda Motor Corporation | Route guidance system based on visual activity of the driver |
JP3932127B2 (ja) * | 2004-01-28 | 2007-06-20 | マツダ株式会社 | 車両用画像表示装置 |
JP2006172215A (ja) | 2004-12-16 | 2006-06-29 | Fuji Photo Film Co Ltd | 運転支援システム |
JP4483764B2 (ja) * | 2005-10-28 | 2010-06-16 | 株式会社デンソー | 運転支援システムおよびプログラム |
JP2008046766A (ja) * | 2006-08-11 | 2008-02-28 | Denso Corp | 車両外部情報表示装置 |
CN101512617B (zh) * | 2006-09-04 | 2012-02-01 | 松下电器产业株式会社 | 行驶信息提供装置 |
EP2090867A4 (en) * | 2006-12-05 | 2012-03-21 | Navitime Japan Co Ltd | NAVIGATION SYSTEM, PORTABLE TERMINAL DEVICE, AND PERIPHERAL IMAGE DISPLAY METHOD |
JP5017242B2 (ja) * | 2008-12-03 | 2012-09-05 | 本田技研工業株式会社 | 視覚支援装置 |
JP5771889B2 (ja) * | 2009-03-04 | 2015-09-02 | 日産自動車株式会社 | 経路案内装置及び経路案内方法 |
JP2010261747A (ja) * | 2009-04-30 | 2010-11-18 | Denso Corp | 警報装置 |
JP5407898B2 (ja) * | 2010-01-25 | 2014-02-05 | 株式会社豊田中央研究所 | 対象物検出装置及びプログラム |
CN102754138A (zh) * | 2010-03-16 | 2012-10-24 | 三菱电机株式会社 | 道路车辆协调型安全驾驶辅助装置 |
EP2615596A4 (en) * | 2010-09-08 | 2017-12-06 | Toyota Jidosha Kabushiki Kaisha | Moving-object prediction device, virtual-mobile-object prediction device, program, mobile-object prediction method, and virtual-mobile-object prediction method |
JP5704902B2 (ja) * | 2010-11-26 | 2015-04-22 | 東芝アルパイン・オートモティブテクノロジー株式会社 | 運転支援装置及び運転支援方法 |
JP5743576B2 (ja) * | 2011-02-02 | 2015-07-01 | スタンレー電気株式会社 | 物体検出システム |
JP2012192878A (ja) | 2011-03-17 | 2012-10-11 | Toyota Motor Corp | 危険度判定装置 |
JP5840046B2 (ja) * | 2012-03-23 | 2016-01-06 | 株式会社豊田中央研究所 | 情報提供装置、情報提供システム、情報提供方法、及びプログラム |
CN104221067A (zh) * | 2012-03-29 | 2014-12-17 | 丰田自动车株式会社 | 驾驶支援装置 |
US10270642B2 (en) * | 2012-12-05 | 2019-04-23 | Origin Wireless, Inc. | Method, apparatus, and system for object tracking and navigation |
DE102012218360A1 (de) * | 2012-10-09 | 2014-04-10 | Robert Bosch Gmbh | Blickfeldanzeige für ein Fahrzeug |
JP6136237B2 (ja) | 2012-12-19 | 2017-05-31 | アイシン・エィ・ダブリュ株式会社 | 走行支援システム、走行支援方法及びコンピュータプログラム |
US9330256B2 (en) * | 2013-02-01 | 2016-05-03 | Qualcomm Incorporated | Location based process-monitoring |
JP2015104930A (ja) * | 2013-11-28 | 2015-06-08 | 株式会社デンソー | ヘッドアップディスプレイ装置 |
CN104112370B (zh) * | 2014-07-30 | 2016-08-17 | 哈尔滨工业大学深圳研究生院 | 基于监控图像的停车场智能车位识别方法及系统 |
JP6361403B2 (ja) | 2014-09-17 | 2018-07-25 | アイシン・エィ・ダブリュ株式会社 | 自動運転支援システム、自動運転支援方法及びコンピュータプログラム |
WO2016070193A1 (en) * | 2014-10-31 | 2016-05-06 | Nodal Inc. | Systems, apparatus, and methods for improving safety related to movable/moving objects |
JP2016122308A (ja) * | 2014-12-25 | 2016-07-07 | クラリオン株式会社 | 車両制御装置 |
CN104571513A (zh) * | 2014-12-31 | 2015-04-29 | 东莞市南星电子有限公司 | 一种通过遮蔽摄像区域模拟触摸指令方法及系统 |
JP6418574B2 (ja) * | 2015-01-14 | 2018-11-07 | 株式会社デンソーアイティーラボラトリ | 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム |
JP6428927B2 (ja) * | 2015-04-21 | 2018-11-28 | 日産自動車株式会社 | 車両誘導装置及び車両誘導方法 |
BR112018007120B1 (pt) * | 2015-10-09 | 2023-05-02 | Nissan Motor Co., Ltd | Dispositivo de display veicular e método de display veicular |
JP6623044B2 (ja) | 2015-11-25 | 2019-12-18 | 日立オートモティブシステムズ株式会社 | ステレオカメラ装置 |
CN105930833B (zh) * | 2016-05-19 | 2019-01-22 | 重庆邮电大学 | 一种基于视频监控的车辆跟踪与分割方法 |
US20180188427A1 (en) * | 2016-12-29 | 2018-07-05 | Uber Technologies, Inc. | Color Filter Array for Image Capture Device |
US10452926B2 (en) * | 2016-12-29 | 2019-10-22 | Uber Technologies, Inc. | Image capture device with customizable regions of interest |
-
2017
- 2017-10-09 CN CN201780060962.8A patent/CN109791737A/zh active Pending
- 2017-10-09 EP EP17858548.5A patent/EP3496033A4/en not_active Withdrawn
- 2017-10-09 US US16/331,362 patent/US10878256B2/en active Active
- 2017-10-09 US US16/331,336 patent/US10733462B2/en active Active
- 2017-10-09 WO PCT/JP2017/036562 patent/WO2018066712A1/ja unknown
- 2017-10-09 WO PCT/JP2017/036561 patent/WO2018066711A1/ja unknown
- 2017-10-09 JP JP2018543999A patent/JP6700623B2/ja active Active
- 2017-10-09 EP EP17858547.7A patent/EP3496069B1/en active Active
- 2017-10-09 WO PCT/JP2017/036560 patent/WO2018066710A1/ja unknown
- 2017-10-09 CN CN201780060977.4A patent/CN109791053A/zh not_active Withdrawn
- 2017-10-09 US US16/331,392 patent/US20190251374A1/en not_active Abandoned
- 2017-10-09 JP JP2018544000A patent/JP6658905B2/ja active Active
- 2017-10-09 JP JP2018544001A patent/JP6566145B2/ja not_active Expired - Fee Related
- 2017-10-09 CN CN201780060967.0A patent/CN109791738B/zh active Active
- 2017-10-09 EP EP17858546.9A patent/EP3496068A1/en not_active Withdrawn
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2007129382A1 (ja) * | 2006-04-28 | 2007-11-15 | Panasonic Corporation | ナビゲーション装置およびその方法 |
JP2015108926A (ja) * | 2013-12-04 | 2015-06-11 | 三菱電機株式会社 | 車両用運転支援装置 |
Also Published As
Publication number | Publication date |
---|---|
JP6658905B2 (ja) | 2020-03-04 |
US20190344803A1 (en) | 2019-11-14 |
JPWO2018066710A1 (ja) | 2019-06-24 |
US20190197323A1 (en) | 2019-06-27 |
WO2018066712A1 (ja) | 2018-04-12 |
CN109791738A (zh) | 2019-05-21 |
JPWO2018066712A1 (ja) | 2019-04-25 |
JP6700623B2 (ja) | 2020-05-27 |
CN109791737A (zh) | 2019-05-21 |
US20190251374A1 (en) | 2019-08-15 |
US10733462B2 (en) | 2020-08-04 |
EP3496069B1 (en) | 2022-10-26 |
EP3496069A1 (en) | 2019-06-12 |
EP3496033A4 (en) | 2019-10-23 |
EP3496033A1 (en) | 2019-06-12 |
JP6566145B2 (ja) | 2019-08-28 |
EP3496069A4 (en) | 2019-06-12 |
CN109791738B (zh) | 2021-12-21 |
CN109791053A (zh) | 2019-05-21 |
EP3496068A4 (en) | 2019-06-12 |
WO2018066710A1 (ja) | 2018-04-12 |
US10878256B2 (en) | 2020-12-29 |
WO2018066711A1 (ja) | 2018-04-12 |
EP3496068A1 (en) | 2019-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6658905B2 (ja) | 走行支援装置及びコンピュータプログラム | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
US11511627B2 (en) | Display device and computer program | |
US11525694B2 (en) | Superimposed-image display device and computer program | |
JP7151073B2 (ja) | 表示装置及びコンピュータプログラム | |
US11493357B2 (en) | Superimposed image display device, superimposed image drawing method, and computer program | |
JP2018173862A (ja) | 走行支援装置及びコンピュータプログラム | |
JP2019164611A (ja) | 走行支援装置及びコンピュータプログラム | |
JP2019010919A (ja) | 走行支援装置及びコンピュータプログラム | |
JP6435798B2 (ja) | 車両情報案内システム、車両情報案内方法及びコンピュータプログラム | |
JP7143728B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP6939147B2 (ja) | 走行情報案内装置及びコンピュータプログラム | |
JP6582798B2 (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP6984341B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2023008462A (ja) | 重畳画像表示装置 | |
JP2023038558A (ja) | 重畳画像表示装置 | |
JP2021081232A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2020085897A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2019082382A (ja) | 重畳画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191023 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191213 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200107 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6658905 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |