WO2018066710A1 - 走行支援装置及びコンピュータプログラム - Google Patents

走行支援装置及びコンピュータプログラム Download PDF

Info

Publication number
WO2018066710A1
WO2018066710A1 PCT/JP2017/036560 JP2017036560W WO2018066710A1 WO 2018066710 A1 WO2018066710 A1 WO 2018066710A1 JP 2017036560 W JP2017036560 W JP 2017036560W WO 2018066710 A1 WO2018066710 A1 WO 2018066710A1
Authority
WO
WIPO (PCT)
Prior art keywords
road
vehicle
driver
connection
invisible
Prior art date
Application number
PCT/JP2017/036560
Other languages
English (en)
French (fr)
Inventor
孝光 坂井
智明 廣田
Original Assignee
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン・エィ・ダブリュ株式会社 filed Critical アイシン・エィ・ダブリュ株式会社
Priority to JP2018543999A priority Critical patent/JP6700623B2/ja
Priority to EP17858546.9A priority patent/EP3496068A4/en
Priority to CN201780060962.8A priority patent/CN109791737A/zh
Priority to US16/331,336 priority patent/US10733462B2/en
Publication of WO2018066710A1 publication Critical patent/WO2018066710A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3807—Creation or updating of map data characterised by the type of data
    • G01C21/3815—Road data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/045—Explanation of inference; Explainable artificial intelligence [XAI]; Interpretable artificial intelligence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256—Lane; Road marking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Definitions

  • the present invention relates to a driving support device and a computer program that support driving of a vehicle.
  • a risk factor is a factor that should be taken into account when a mobile object travels.
  • one of the risk factors is a road on which a vehicle travels and a road connected at a branch point around the vehicle (hereinafter referred to as a connection road). Can be mentioned.
  • the connecting road is a road where other vehicles, pedestrians, bicycles, etc. moving on the road may enter the road on which the vehicle will travel. Therefore, it is very important for the driver to grasp the existence of the connecting road in order to pay attention in advance to the approach of such other vehicles, pedestrians, bicycles and the like.
  • Japanese Patent Laid-Open No. 2000-266559 discloses a connection to a branch point when it is determined that there is a branch point ahead of the road on which the vehicle travels based on the current position of the vehicle detected by GPS and map information. It is disclosed that the presence of a connecting road is guided to a driver using a display or a speaker.
  • connection roads connected to a branch point in the traveling direction of the vehicle are targeted for guidance.
  • the driver can clearly grasp the existence of the connected road even if guidance is not provided for a connected road that has no obstacles and is clearly visible to the driver. Is possible.
  • connection roads other vehicles, pedestrians, bicycles, etc. that move on the connection roads can also be visually recognized by the driver. Even if the vehicle has entered the road on which the vehicle travels, it is possible to deal with such entry with a margin. Therefore, setting such a connected road as a guide object may also hinder the driver's attention.
  • the present invention has been made to solve the problems in the prior art, and by providing guidance that suggests the existence of a connection road with low visibility from the driver, guidance is provided for connection roads that can be a risk factor.
  • an object of the present invention is to provide a driving support device and a computer program in which unnecessary guidance is limited as much as possible.
  • the driving support apparatus is present in the driver's field of view and is present in the driver's field of view, among the connecting roads that are connected to the road on which the vehicle travels at the branch point around the vehicle.
  • Road identifying means for identifying a connected road whose visibility from the threshold is lower than a threshold
  • guidance means for performing guidance that suggests the presence of an invisible road that is a connected road identified by the road identifying means.
  • “Visibility” may simply indicate whether the connected road is visible to the driver, or it may be easy to see the connected road from the driver, or the driver understands the status of the connected road. It may be easy to do.
  • the above “visibility” is used to determine whether or not at least a part of the connected road is visible, whether or not a specific part of the connected road is visible, in addition to the determination index of whether or not the entire connected road is visible. Identified using indicators.
  • the computer program according to the present invention is a program for supporting driving of a vehicle. Specifically, a connection that is in the driver's field of view and is less visible than the threshold among the roads on which the vehicle travels and the roads that connect at the branching points around the vehicle. It functions as a road specifying means for specifying a road and a guide means for performing a guidance suggesting the presence of an invisible road which is a connected road specified by the road specifying means.
  • connection road that can be a risk factor by performing guidance that suggests the existence of a connection road whose visibility from the driver is lower than a threshold value, While providing guidance, it is possible to limit unnecessary guidance as much as possible.
  • FIG. 1 is a block diagram showing a navigation device 1 according to this embodiment.
  • the navigation device 1 includes a current position detection unit 11 that detects a current position of a vehicle on which the navigation device 1 is mounted, a data recording unit 12 that records various data, Based on the input information, the navigation ECU 13 that performs various arithmetic processes, the operation unit 14 that receives operations from the user, information about a map around the vehicle for the user, information on the guidance route set in the navigation device 1, etc.
  • a liquid crystal display 15 that displays a voice guidance for route guidance, a warning 16 for warnings about risk factors, a DVD drive 17 that reads a DVD as a storage medium, a probe center or VICS (registered trademark: Vehicle Information Information and Communication) System)
  • a communication module that communicates with an information center such as a center. It has a 18, a.
  • the navigation device 1 is connected to a HUD (head-up display) 19 and an outside camera 20 via an in-vehicle network such as CAN.
  • the current position detection unit 11 includes a GPS 21, a vehicle speed sensor 22, a steering sensor 23, a gyro sensor 24, and the like, and can detect the current vehicle position, direction, vehicle traveling speed, current time, and the like.
  • the vehicle speed sensor 22 is a sensor for detecting a moving distance and a vehicle speed of the vehicle, generates a pulse according to the rotation of the driving wheel of the vehicle, and outputs a pulse signal to the navigation ECU 13.
  • navigation ECU13 calculates the rotational speed and moving distance of a driving wheel by counting the generated pulse.
  • the navigation device 1 does not have to include all the four types of sensors, and the navigation device 1 may include only one or more types of sensors.
  • the data recording unit 12 reads an external storage device and a hard disk (not shown) as a recording medium, a map information DB 31 and a captured image DB 32 recorded on the hard disk, a predetermined program, and the like, and stores predetermined data on the hard disk. And a recording head (not shown) as a driver for writing.
  • the data recording unit 12 may include a memory card, an optical disk such as a CD or a DVD, instead of the hard disk.
  • the map information DB 31 and the captured image DB 32 may be stored in an external server, and the navigation device 1 may acquire them by communication.
  • the map information DB 31 stores two-dimensional map information 33 and three-dimensional map information 34, respectively.
  • the two-dimensional map information 33 is map information used in a general navigation device 1. For example, link data related to roads (links), node data related to node points, facility data related to facilities, and search data used for route search processing. , Map display data for displaying a map, intersection data for each intersection, search data for searching for a point, and the like.
  • the three-dimensional map information 34 is information related to a map image representing a map in three dimensions.
  • the information is related to a map image that expresses the outline of a road in three dimensions.
  • it is good also as a map image expressing also information other than the outline of a road.
  • a facility image, a road marking line, a road sign, a signboard, and the like may be used as a map image expressed in three dimensions.
  • the navigation device 1 uses the two-dimensional map information 33 for general functions such as displaying a map image on the liquid crystal display 15 and searching for a guide route. Further, as will be described later, the processing related to the determination of the visibility of the connected road is performed using the three-dimensional map information 34.
  • the captured image DB 32 is storage means for storing a captured image 35 captured by the camera 20 outside the vehicle. Note that the captured images 35 captured by the camera 20 outside the vehicle are cumulatively stored in the captured image DB 32 and are deleted in order from the oldest image.
  • the navigation ECU (Electronic Control Unit) 13 is an electronic control unit that controls the entire navigation device 1.
  • the CPU 41 as an arithmetic device and a control device, and a working memory when the CPU 41 performs various arithmetic processes.
  • an internal storage device such as a flash memory 44 for storing the program.
  • the navigation ECU 13 has various means as processing algorithms.
  • the road identifying means is present in the driver's field of view, and the visibility from the driver is lower than the threshold value, among the connecting roads that are connected to the road where the vehicle travels and the branch points around the vehicle. Identify low connection roads.
  • the guidance means performs guidance that suggests the presence of an invisible road that is a connection road identified by the road identification means.
  • the operation unit 14 is operated when inputting a departure point as a travel start point and a destination as a travel end point, and has a plurality of operation switches (not shown) such as various keys and buttons. Then, the navigation ECU 13 performs control to execute various corresponding operations based on switch signals output by pressing the switches.
  • the operation unit 14 may have a touch panel provided on the front surface of the liquid crystal display 15. Moreover, you may have a microphone and a speech recognition apparatus.
  • the liquid crystal display 15 includes a map image including a road, traffic information, operation guidance, operation menu, key guidance, guidance route set in the navigation device 1, guidance information along the guidance route, news, weather forecast. , Time, mail, TV program, etc. are displayed.
  • the HUD 19 since the HUD 19 is provided as information display means, the liquid crystal display 15 may be omitted if the HUD 19 is configured to display the map image and the like.
  • the speaker 16 outputs voice guidance for guiding traveling along the guidance route and traffic information guidance based on an instruction from the navigation ECU 13. Further, in the present embodiment, a guidance for a connected road whose visibility is determined to be lower than a threshold value is also output.
  • the DVD drive 17 is a drive that can read data recorded on a recording medium such as a DVD or a CD. Based on the read data, music and video are reproduced, the map information DB 31 is updated, and the like. A card slot for reading / writing a memory card may be provided instead of the DVD drive 17.
  • the communication module 18 is a communication device for receiving traffic information transmitted from a traffic information center, for example, a VICS center or a probe center, and corresponds to, for example, a mobile phone or DCM.
  • a traffic information center for example, a VICS center or a probe center
  • the HUD 19 is installed inside the dashboard of the vehicle, and has a liquid crystal display or screen which is a video display surface on which video is displayed.
  • the video displayed on the liquid crystal display or the screen is further reflected on the front window in front of the driver's seat through a concave mirror provided in the HUD 19 so as to be visually recognized by the vehicle occupant.
  • the occupant views the image displayed on the LCD or screen by reflecting the front window, the occupant displays the image on the LCD or screen at a position farther away from the front window than the position of the front window.
  • the configured video is configured to be visually recognized as a virtual image. As a result, it is possible to superimpose a virtual image on a real scene in the front environment and make it visible to the occupant.
  • the images displayed on the liquid crystal display and the screen include information on the vehicle and various types of information used for assisting occupants' driving.
  • information for suggesting to the driver a connected road whose visibility is determined to be lower than the threshold value is displayed.
  • the HUD 19 is used as a means for displaying an image to be superimposed on the actual scene in the forward environment, but other means may be used.
  • a window shield display that displays an image on the front window may be used.
  • an image may be displayed from a projector using the front window as a screen, or the front window may be a transmissive liquid crystal display.
  • the image displayed on the front window by the WSD is an image to be superimposed on the actual scene in the front environment, similar to the HUD 19.
  • the outside camera 20 is configured by a camera using a solid-state imaging device such as a CCD, for example, and is installed on the back side of a vehicle rearview mirror, a front bumper, etc., and installed with the optical axis direction downward from the horizontal by a predetermined angle.
  • the And the camera 20 outside a vehicle images the surrounding environment ahead of the advancing direction of a vehicle.
  • the navigation ECU 13 compares the captured image captured as described later with the image of the three-dimensional map information 34 to determine the visibility of the connection road around the vehicle.
  • the installation position of the outside camera 20 is substantially the same as the position of the driver's eyes (the line of sight start point), and the optical axis direction is adjusted to be substantially the same as the driver's line of sight in the normal state. desirable.
  • the image captured by the outside camera 20 matches the driver's field of view, and the visibility of the connected road can be determined more appropriately.
  • the connecting road is a road where other vehicles, pedestrians, bicycles, and the like moving on the road may enter the road on which the vehicle will travel. Therefore, as described later, when the driver's visibility to the connected road is low (that is, it is predicted that the driver cannot grasp the connected road), guidance for making the driver know the existence of the connected road. I do.
  • FIG. 2 is a flowchart of the driving support processing program according to this embodiment.
  • the driving support processing program is executed after the ACC power supply (accessory power supply) of the vehicle is turned on, and the connecting road from the driver based on the captured image captured by the outside camera 20 and the three-dimensional map information 34.
  • This is a program for determining the visibility of a road and guiding a connection road with low visibility. 2 is stored in the RAM 42, the ROM 43, and the like provided in the navigation ECU 13, and is executed by the CPU 41.
  • step (hereinafter abbreviated as S) 1 the CPU 41 acquires the current position and direction of the vehicle based on the detection result of the current position detection unit 11. Specifically, position coordinates on the map indicating the current position of the vehicle are acquired using the two-dimensional map information 33. Note that when detecting the current position of the vehicle, a map matching process for matching the current position of the vehicle with the two-dimensional map information 33 is also performed. Furthermore, the current position of the vehicle may be specified using a high-precision location technique.
  • the high-accuracy location technology detects white lines and road surface paint information captured from a camera installed in a vehicle by image recognition, and further compares the white lines and road surface paint information with a previously stored map information DB.
  • the details of the high-accuracy location technology are already known and will be omitted. It is desirable that the current position and direction of the vehicle are finally specified on the map of the three-dimensional map information 34.
  • the CPU 41 acquires a captured image most recently captured by the outside camera 20 from the captured image DB 32.
  • the captured image captured by the camera 20 outside the vehicle corresponds to the driver's line-of-sight start point (viewpoint) and the line-of-sight direction in the forward direction of the vehicle, that is, the front environment (driver's field of view) as viewed by the driver. This is a captured image.
  • the CPU 41 among the 3D map information 34 stored in the map information DB 31, in particular, 3D map information around the current position of the vehicle specified in S1 (for example, around 300 m from the current position of the vehicle). 34 is acquired.
  • the CPU 41 acquires the imaging range of the captured image acquired in S2.
  • the imaging range of the captured image 35 can be specified by the position of the focal point P, the optical axis direction ⁇ , and the angle of view ⁇ of the outside camera 20 at the time of imaging.
  • the angle of view ⁇ is a fixed value determined in advance by the camera 20 outside the vehicle.
  • the position of the focal point P is determined based on the current position of the vehicle acquired in S1 and the installation position of the outside camera 20 in the vehicle.
  • the optical axis direction ⁇ is determined based on the direction of the vehicle acquired in S1 and the installation direction of the outside camera 20 in the vehicle.
  • the CPU 41 uses the 3D map information 34 acquired in S3 to map the same range as the captured range of the captured image acquired in S4 from the same direction as the captured direction of the captured image in 3D.
  • An expressed overhead image (hereinafter referred to as a map information image) is generated. Note that the map information image itself is the same two-dimensional image as the captured image.
  • FIG. 4 is a diagram showing an example of the map information image 52 generated corresponding to the captured image 51.
  • the map information image 52 is an image in which a line indicating the contour 53 of the road included in the imaging range of the captured image 51 (that is, within the driver's field of view) is drawn.
  • the contour of the road hidden by an obstacle such as another vehicle is also drawn in the map information image 52.
  • the CPU 41 detects an obstacle located around the vehicle by performing an image recognition process on the captured image acquired in S2.
  • image recognition processing binarization processing, pattern matching processing using a feature point or a template, and the like are performed. Since the image recognition processing is already known, details thereof are omitted.
  • obstacle type “shape (detected range)”, “distance from own vehicle”, and “position coordinates” are also acquired. Examples of the “obstacle type” include cars, pedestrians, and bicycles.
  • “Position coordinates” are the position coordinates on the captured image in which the orthogonal coordinate system is set on the captured image.
  • the obstacle may be detected using a sensor installed in the vehicle, or information on the obstacle may be acquired from outside by communication. good.
  • the obstacle does not necessarily have to be a fixed shape, and may be, for example, light or darkness as long as it obstructs the visibility of the connecting road.
  • three vehicles 54 to 56 are detected as obstacles.
  • “type of obstacle”, “shape (detected range)”, “own vehicle” Distance ”and“ position coordinates ” are specified.
  • the CPU 41 specifies the direction of the obstacle (traveling direction) detected in S6 and the location where the obstacle is detected.
  • the “obstruction direction (traveling direction)” may be specified based on the type and shape of the obstacle, or may be specified based on a change in the position of the obstacle in the captured image continuously captured at a predetermined interval. May be.
  • the “location where the obstacle is detected” is located on the road or outside the road based on the position coordinates of the obstacle detected in S6 and the map information image generated in S5. To identify. Further, when the vehicle is on a road, it is desirable to specify whether the vehicle is located on a lane in which the vehicle travels, on an opposite lane, or on a connection road. Further, S7 is performed for all obstacles detected in S6.
  • the direction of the obstacle is specified as the rear (the direction opposite to the direction of the host vehicle).
  • the “location where the obstacle is detected” is identified as the oncoming lane.
  • connection road is a road that is connected to a road on which the vehicle travels at a branch point around the vehicle.
  • roads 58 and 59 connected to the branch point 57 correspond to connection roads.
  • the roads 58 and 59 connected in the direction intersecting with the road on which the vehicle travels are particularly targeted.
  • the road 60 connected in the traveling direction may also be included in the connection road. If there are a plurality of connected roads, a determination area is set for each connected road.
  • the method for setting the determination area in S8 will be described in more detail with reference to FIG.
  • the determination region set for the connecting road 59 connected in the right direction to the branch point 57 in front of the traveling direction of the vehicle will be described as an example.
  • the CPU 41 specifies the position where the connection road 59 exists in the captured image 51 based on the map information image 52 generated in S5. Specifically, the area of the captured image 51 corresponding to the area surrounded by the contour 53 of the connection road 59 in the map information image 52 is specified. The identified area is the position where the connection road 59 exists in the captured image 51. For example, in FIG. 5, the hatched area is a position where the connection road 59 exists in the captured image 51. Subsequently, the CPU 41 specifies, in the captured image 51, the end portion X that is located closest to the host vehicle where the connection road 59 connects to the branch point 57 based on the specified position of the connection road 59.
  • a rectangular area 3 m away from the connecting branch point 57 along the connecting road 59 and 2 m in the height direction is set as the determination area 61. .
  • determination areas are set for other connecting roads.
  • the determination area 61 set in S8 is an area including at least a part of the connection road 59 for the connection road 59 existing in the captured image 51, that is, in the driver's field of view. More specifically, the determination area 61 is set for an area including a road portion within 3 mm along the connection road 59 from the end where the connection road 59 connects to the branch point 57.
  • the CPU 41 in the captured image (that is, in the driver's field of view) based on the positional relationship between the position of the connected road in the captured image acquired in S2 and the position of the obstacle in the captured image.
  • the visibility from the driver of the existing connection road is determined.
  • the visibility is determined for each connecting road.
  • the visibility from the driver on the connected road is determined based on the positional relationship between the connected road and the obstacle in the determination region set in S8.
  • the CPU 41 specifies the position where the obstacle detected in S6 (the vehicles 54 to 56 in the example shown in FIG. 6) exists in the captured image 51.
  • the overlapping ratio in which the vehicles 54 to 56 overlap the determination area 61 is calculated. Specifically, as shown in FIG. 6, the ratio of the area where the vehicles 54 to 56 overlap is calculated as the overlapping ratio among the areas of the entire determination area 61.
  • the positions and shapes of the vehicles 54 to 56 are detected in S6.
  • the calculated overlap ratio is a numerical value indicating the visibility from the driver of the connection road 59.
  • the CPU 41 determines that the corresponding connection road cannot be visually recognized by the driver when the calculated overlap ratio (visibility) is equal to or greater than a threshold value (for example, 80%), and corresponds when the overlap ratio is less than the threshold value. It is determined that the connecting road is visible from the driver.
  • a threshold value for example, 80%
  • the determination area 61 may be divided into a plurality of sections.
  • FIG. 8 shows an example in which the determination area 61 is divided into four sections 71 to 74 with a line connecting the midpoints of the opposing sides as boundaries.
  • the upper left section will be described as section 71
  • the lower left section will be section 72
  • the upper right section will be described as section 73
  • the lower right section will be described as section 74.
  • a section that is closer to the end connected to the branch point is set with a calculation criterion that makes it easier to calculate a higher overlapping ratio.
  • the section close to the end connected to the branch point is a section located near the entrance of the connection road, whether or not there is a vehicle or a pedestrian entering the road on which the vehicle travels from the connection road in particular. This is an important section for the driver to judge. Accordingly, a calculation criterion is set such that the nearer the end connected to the branch point, the higher the overlapping ratio is, and the easier it is to calculate. For example, as shown in FIG.
  • the section 73 , 74 is set to a calculation criterion that is more easily calculated than the overlap ratio. For example, for the sections 71 and 72, a ratio obtained by multiplying the ratio of the obstacles overlapping the sections 71 and 72 by 1.2 is calculated as the overlapping ratio. On the other hand, for the sections 73 and 74, a ratio obtained by multiplying the ratio of the obstacles overlapping the sections 73 and 74 by 0.8 is calculated as the overlap ratio.
  • a value obtained by summing the overlapping ratios calculated for each section is set as an overlapping ratio at which obstacles overlap with the determination area 61. Note that the determination region set for the connecting road that connects to the branch point in the left direction is opposite to the above example.
  • (B) As another example, a calculation criterion with a higher overlapping ratio and a higher calculation rate is set for the lower division of the plurality of divisions 71 to 74.
  • the determination area 61 sets the lower end based on the end portion X on the near side of the connecting road 59
  • the lower sections 72 and 74 are higher than the upper sections 71 and 73.
  • the ratio of overlapping with the connecting road 59 becomes high. That is, the lower section is a section where a vehicle or a pedestrian moving along the connecting road is likely to be located, so whether or not there is a vehicle or a pedestrian entering from the connecting road to the road on which the vehicle travels. It becomes an important section when the driver determines whether or not.
  • a calculation criterion that sets a higher overlap ratio and is easily calculated for the lower section is set.
  • a ratio obtained by multiplying the ratio of the obstacles that actually overlap the sections 72 and 74 by 1.2 is calculated as the overlapping ratio.
  • a ratio obtained by multiplying the ratio of the obstacles overlapping the sections 71 and 73 by 0.8 is calculated as the overlapping ratio.
  • a value obtained by summing the overlapping ratios calculated for each section is set as an overlapping ratio at which obstacles overlap with the determination area 61.
  • the boundary for dividing the determination area 61 may be changed according to the road width of the connection road. Specifically, as shown in FIG. 8, when the road width of the connecting road is narrow, the upper and lower borders are moved downward, and when the connecting road is wide, the upper and lower borders are separated. Is moved upward. This makes it possible to correct the duplication ratio more appropriately in the above (B).
  • the CPU 41 is in a stoppable distance from the vehicle, and the driving is performed in a connected road where the overlap ratio (visibility) calculated in S9 is equal to or greater than a threshold (for example, 80%), that is, within the driver's field of view. It is determined whether there is a connecting road that cannot be visually recognized by a person.
  • the “stoppable distance” is a distance at which the vehicle can be stopped at a predetermined acceleration or less (the upper limit acceleration that does not cause a burden on the driver), and is calculated based on the current vehicle speed of the vehicle.
  • the threshold value used as the determination criterion in S10 can be changed as appropriate, and may be set to 50%, for example. Further, the threshold value may be changeable depending on the surrounding environment. For example, if the environment is poor in visibility such as at night or during raining, the threshold is set higher than in other environments.
  • the CPU 41 determines that the obstacle overlapping the connecting road is a vehicle based on the type of the obstacle specified in S6, the direction (traveling direction) of the obstacle specified in S7, and the detection location. It is determined whether the vehicle is located on the connection road.
  • the driver can determine the position and shape of the connection road from the position of the other vehicle. The driver can also determine whether or not there is a vehicle entering the road on which the vehicle travels from the connecting road. Therefore, in such a case, it is considered that the driver can visually recognize even a connecting road whose visibility is not more than a threshold value.
  • the process proceeds to S13. On the other hand, if it is determined that the obstacle overlapping the connected road is other than the vehicle or is not located on the connected road even if it is a vehicle (S11: NO), the process proceeds to S12.
  • the CPU 41 transmits a control signal to the HUD 19, and outputs a video suggesting the existence of a connection road (hereinafter referred to as an invisible road) that is determined to be invisible to the driver on the liquid crystal display of the HUD 19. Specifically, a superimposed image that is visually recognized by the driver is displayed by being superimposed on a range including an end portion connected to the branch point in the invisible road. In addition, sound for warning an invisible road may be output from the speaker 16.
  • an invisible road a connection road
  • FIG. 9 is a diagram showing an example of the superimposed image displayed in S12.
  • a virtual image (superimposed image) 75 of an exclamation mark suggesting the presence of an invisible road is displayed at a position ahead of a predetermined distance (25 m) in the traveling direction of the vehicle.
  • the virtual image 75 is visible to the driver by being superimposed on the invisible road including the end connected to the branch point, that is, near the entrance of the invisible road, the virtual image 75 is changed from the invisible road to the road on which the vehicle is traveling. Even if there are other vehicles or pedestrians entering, it is possible to pay attention in advance to the entry of other vehicles or pedestrians.
  • the CPU 41 determines that there is no connected road that cannot be visually recognized by the driver in the captured image (that is, in the driver's field of view), and ends the driving support process without performing any guidance on the connected road.
  • an output means for outputting the determination result of determining the visibility from the driver on the connected road in this embodiment, the presence of an invisible road that is determined to be invisible to the driver (visibility is equal to or less than a threshold value) is driven.
  • vehicle control based on the determination result may be performed. For example, it is possible to perform vehicle control for notifying the driver of an invisible road or vehicle control for avoiding the invisible road. Specifically, there is vehicle control that decelerates before an invisible road. It is also possible to apply the determination result to an autonomous driving vehicle.
  • a captured image obtained by capturing the surrounding environment of the vehicle is acquired (S2) and the map is expressed in three dimensions.
  • a map information image which is a map image indicating the same range as the imaging range of the captured image from the same direction as the imaging direction of the captured image, is acquired (S5), and the vehicle travels based on the captured image and the map information image.
  • a connecting road that is connected to the road at a branch point around the vehicle is identified as a connecting road that exists in the driver's field of view and has a visibility lower than the threshold (S10).
  • the three-dimensional map information 34 is information related to a map image that expresses a road outline in three dimensions, but may be map information that expresses information other than the road outline.
  • it may be a map image expressing the facility shape, road lane markings, road signs, signboards, and the like.
  • an image that is visually superimposed and displayed near the entrance of the invisible road is displayed as guidance that suggests the invisible road to the driver (FIG. 9), but the superimposed image is an image of another form. It is also good. For example, you may display the image of the line segment visually recognized superimposed on the outline of an invisible road.
  • the determination area 61 has a rectangular shape with a width of 3 m and a height of 2 m.
  • the size and shape of the determination area 61 can be changed as appropriate, and may be, for example, a circular shape.
  • FIG. 7 shows an example in which the determination area 61 is divided into four sections, but the number of sections may be 3 or less or 5 or more.
  • the driving support processing program (FIG. 2) is executed by the navigation device 1, but it may be configured by an on-vehicle device other than the navigation device.
  • the navigation device it is good also as a structure which the control part of HUD19, vehicle control ECU, and another vehicle equipment perform.
  • the driving assistance device which concerns on this invention can also be comprised with HUD19.
  • the driving support device can also have the following configuration, and in that case, the following effects can be obtained.
  • the first configuration is as follows.
  • guidance is provided for connection roads that may be a risk factor by providing guidance that suggests the existence of connection roads whose visibility from the driver is lower than the threshold, but unnecessary. It is possible to limit the possible guidance as much as possible.
  • the second configuration is as follows. And a surrounding environment imaging means (41) for acquiring a captured image (51) obtained by imaging the surrounding environment of the vehicle by an imaging device (20) having an optical axis corresponding to a driver's line-of-sight start point and line-of-sight direction, and the road
  • the specifying means (41) specifies the invisible road based on the captured image. According to the driving support apparatus having the above-described configuration, it is possible to acquire a captured image corresponding to the driver's field of view, and the visibility to the connected road existing in the driver's field of view is accurately based on the captured image. Can be determined.
  • the third configuration is as follows.
  • the road specifying means (41) specifies the invisible road at the stoppable distance from the vehicle.
  • the driver guides an invisible road that can be stopped without difficulty, so that it is possible to prevent the driver from performing excessive vehicle operations by performing the guidance. It becomes possible.
  • the fourth configuration is as follows.
  • the road specifying means (41) determines the visibility of a range within a predetermined distance from an end connected to a branch point along the connection road with respect to the connection road existing in the driver's field of view. .
  • the visibility is determined particularly for the range near the entrance of the connection road, so the vehicle or pedestrian immediately before entering the road on which the vehicle travels from the connection road It is possible to determine the visibility of the connected road in consideration of whether or not the road can be visually recognized.
  • the fifth configuration is as follows.
  • the guidance means (41) performs guidance that suggests the presence of the invisible road by displaying a superimposed image (75) that is superimposed on the invisible road and visually recognized by the driver. According to the driving support apparatus having the above-described configuration, the driver can clearly grasp the position of the invisible road without moving the driver's line of sight.
  • the sixth configuration is as follows.
  • the guiding means (41) displays the superimposed image (75) that is visually recognized by the driver by being superimposed on a range including an end connected to a branch point in the invisible road.
  • the superimposed image is superimposed on the vicinity of the entrance of the invisible road and is visually recognized by the driver, so that other vehicles and pedestrians entering the road on which the host vehicle travels from the invisible road Even if it is, it is possible to pay attention to the entry point in advance.
  • the seventh configuration is as follows.
  • the guide means (41) increases the size of the superimposed image (75) as the distance from the vehicle to the invisible road approaches. According to the driving support apparatus having the above configuration, it is possible to make the driver easily grasp the distance to the invisible road visually.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Medical Informatics (AREA)
  • Transportation (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

危険因子となり得る接続道路については案内を行う一方で、不要な案内についてはできる限り制限した走行支援装置及びコンピュータプログラムを提供する。具体的には、撮像画像と地図情報画像に基づいて、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定し、特定された接続道路である不可視道路の存在を示唆する案内を行うように構成する。

Description

走行支援装置及びコンピュータプログラム
　本発明は、車両の走行支援を行う走行支援装置及びコンピュータプログラムに関する。
　近年、例えば車両に対する走行支援の一つとして、移動体の周辺にある危険因子を判定し、判定結果を案内することが行われている。危険因子とは移動体が走行する際に注意するべき因子であり、特に危険因子の一つとして車両が走行する道路と車両の周囲にある分岐点で接続する道路（以下、接続道路という）が挙げられる。
　接続道路は、その道路上を移動する他車両、歩行者、自転車等が、今後に車両の走行する道路へと進入する虞のある道路となる。従って、運転者が接続道路の存在を把握することは、そのような他車両、歩行者、自転車等の進入に対して事前に注意を払う為に非常に重要である。例えば特開２０００－２６６５５９号公報には、ＧＰＳにより検出した車両の現在位置と地図情報とに基づいて、車両が走行する道路の前方に分岐点があると判定した場合に、分岐点に接続する接続道路の存在をディスプレイやスピーカを用いて運転者に案内することが開示されている。
特開２０００－２６６５５９号公報（第３頁、図１）
　ここで、上記特許文献１では車両の進行方向にある分岐点に接続する全ての接続道路が案内対象となっている。しかしながら、接続道路であったとしても周囲に障害物が無く運転者から明確に視認できる接続道路については、仮に案内が行われなかったとしても接続道路の存在を運転者は明らかに把握することが可能である。また、そのような接続道路では接続道路上を移動する他車両、歩行者、自転車等についても当然に運転者から視認することが可能であり、仮にそれらの他車両、歩行者、自転車等が今後に車両の走行する道路へと進入したとしても、それらの進入に対して余裕を持って対処することが可能である。従って、そのような接続道路についても案内対象とすることは、かえって運転者の注意を妨げる原因となる。
　本発明は前記従来における問題点を解消するためになされたものであり、運転者からの視認性が低い接続道路の存在を示唆する案内を行うことによって、危険因子となり得る接続道路については案内を行う一方で、不要な案内についてはできる限り制限した走行支援装置及びコンピュータプログラムを提供することを目的とする。
　前記目的を達成するため本発明に係る走行支援装置は、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定する道路特定手段と、前記道路特定手段により特定された接続道路である不可視道路の存在を示唆する案内を行う案内手段と、を有する。
　尚、「視認性」とは、単純に運転者から接続道路が見えるか否かのみを示す場合もあれば、運転者からの接続道路の見易さ、或いは運転者による接続道路の状況の把握し易さを示す場合もある。そして、上記「視認性」は、接続道路の全体が見えるか否かの判断指標以外に、接続道路の少なくとも一部が見えるか否か、接続道路の特定の箇所が見えるか否か等の判断指標を用いて特定される。
　また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定する道路特定手段と、前記道路特定手段により特定された接続道路である不可視道路の存在を示唆する案内を行う案内手段と、して機能させる。
　前記構成を有する本発明に係る走行支援装置及びコンピュータプログラムによれば、運転者からの視認性が閾値よりも低い接続道路の存在を示唆する案内を行うことによって、危険因子となり得る接続道路については案内を行う一方で、不要な案内についてはできる限り制限することが可能となる。
本実施形態に係るナビゲーション装置を示したブロック図である。 本実施形態に係る走行支援処理プログラムのフローチャートである。 撮像画像の撮像範囲を示した図である。 撮像画像と地図情報画像とを比較した図である。 撮像画像に対して設定される判定領域を示した図である。 判定領域と障害物の重複割合の算出例を示した図である。 判定領域を区画した例を示した図である。 判定領域を区画した例を示した図である。 不可視道路を案内する重畳画像の例を示した図である。
　以下、本発明に係る走行支援装置についてナビゲーション装置に具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。先ず、本実施形態に係るナビゲーション装置１の概略構成について図１を用いて説明する。図１は本実施形態に係るナビゲーション装置１を示したブロック図である。
　図１に示すように本実施形態に係るナビゲーション装置１は、ナビゲーション装置１が搭載された車両の現在位置を検出する現在位置検出部１１と、各種のデータが記録されたデータ記録部１２と、入力された情報に基づいて、各種の演算処理を行うナビゲーションＥＣＵ１３と、ユーザからの操作を受け付ける操作部１４と、ユーザに対して車両周辺の地図やナビゲーション装置１に設定された案内経路に関する情報等を表示する液晶ディスプレイ１５と、経路案内に関する音声ガイダンスや危険因子に対する警告等を出力するスピーカ１６と、記憶媒体であるＤＶＤを読み取るＤＶＤドライブ１７と、プローブセンタやＶＩＣＳ（登録商標：Vehicle Information and Communication System）センタ等の情報センタとの間で通信を行う通信モジュール１８と、を有している。また、ナビゲーション装置１は、ＣＡＮ等の車載ネットワークを介して、ＨＵＤ（ヘッドアップディスプレイ）１９や車外カメラ２０が接続されている。
　以下に、ナビゲーション装置１が有する各構成要素について順に説明する。
　現在位置検出部１１は、ＧＰＳ２１、車速センサ２２、ステアリングセンサ２３、ジャイロセンサ２４等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ２２は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションＥＣＵ１３に出力する。そして、ナビゲーションＥＣＵ１３は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記４種類のセンサをナビゲーション装置１が全て備える必要はなく、これらの内の１又は複数種類のセンサのみをナビゲーション装置１が備える構成としても良い。
　また、データ記録部１２は、外部記憶装置及び記録媒体としてのハードディスク（図示せず）と、ハードディスクに記録された地図情報ＤＢ３１や撮像画像ＤＢ３２や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド（図示せず）とを備えている。尚、データ記録部１２としてはハードディスクの代わりにメモリーカードやＣＤやＤＶＤ等の光ディスクを有しても良い。また、地図情報ＤＢ３１や撮像画像ＤＢ３２は外部のサーバに格納させ、ナビゲーション装置１が通信により取得しても良い。
　ここで、地図情報ＤＢ３１は、２次元地図情報３３と３次元地図情報３４とがそれぞれ記憶される。２次元地図情報３３は、一般的なナビゲーション装置１において用いられる地図情報であり、例えば、道路（リンク）に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。
　一方、３次元地図情報３４は、３次元で地図を表現した地図画像に関する情報である。特に本実施形態では３次元で道路の輪郭を表現した地図画像に関する情報とする。尚、道路の輪郭以外の情報についても表現した地図画像としても良い。例えば、施設形状、道路の区画線、道路標識、看板等についても３次元で表現した地図画像としても良い。
　そして、ナビゲーション装置１は、液晶ディスプレイ１５における地図画像の表示、案内経路の探索等の一般的な機能については２次元地図情報３３を用いて行う。また、後述のように接続道路の視認性の判定に係る処理については３次元地図情報３４を用いて行う。
　また、撮像画像ＤＢ３２は、車外カメラ２０によって撮像された撮像画像３５が格納される記憶手段である。尚、車外カメラ２０によって撮像された撮像画像３５は累積的に撮像画像ＤＢ３２に格納され、古い画像から順に削除される。
　一方、ナビゲーションＥＣＵ（エレクトロニック・コントロール・ユニット）１３は、ナビゲーション装置１の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのＣＰＵ４１、並びにＣＰＵ４１が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるＲＡＭ４２、制御用のプログラムのほか、後述の走行支援処理プログラム（図２参照）等が記録されたＲＯＭ４３、ＲＯＭ４３から読み出したプログラムを記憶するフラッシュメモリ４４等の内部記憶装置を備えている。尚、ナビゲーションＥＣＵ１３は、処理アルゴリズムとしての各種手段を有する。例えば、道路特定手段は、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定する。案内手段は、道路特定手段により特定された接続道路である不可視道路の存在を示唆する案内を行う。
　操作部１４は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ（図示せず）を有する。そして、ナビゲーションＥＣＵ１３は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部１４は液晶ディスプレイ１５の前面に設けたタッチパネルを有しても良い。また、マイクと音声認識装置を有しても良い。
　また、液晶ディスプレイ１５には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、ナビゲーション装置１で設定されている案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、本実施形態では情報の表示手段としてＨＵＤ１９を備えているので、上記地図画像等の表示についてもＨＵＤ１９で行う構成とすれば液晶ディスプレイ１５は省略しても良い。
　また、スピーカ１６は、ナビゲーションＥＣＵ１３からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。また、本実施形態では特に視認性が閾値よりも低いと判定された接続道路の案内についても出力する。
　また、ＤＶＤドライブ１７は、ＤＶＤやＣＤ等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報ＤＢ３１の更新等が行われる。尚、ＤＶＤドライブ１７に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
　また、通信モジュール１８は、交通情報センタ、例えば、ＶＩＣＳセンタやプローブセンタ等から送信された交通情報を受信する為の通信装置であり、例えば携帯電話機やＤＣＭが該当する。
　一方、ＨＵＤ１９は、車両のダッシュボード内部に設置されており、内部には映像が表示される映像表示面である液晶ディスプレイやスクリーンを有する。そして、液晶ディスプレイやスクリーンに表示された映像を、ＨＵＤ１９が備える凹面鏡等を介し、更に運転席の前方のフロントウィンドウに反射させて車両の乗員に視認させるように構成されている。尚、フロントウィンドウを反射して乗員が液晶ディスプレイやスクリーンに表示された映像を視認した場合に、乗員にはフロントウィンドウの位置ではなく、フロントウィンドウの先の遠方の位置に液晶ディスプレイやスクリーンに表示された映像が虚像として視認されるように構成される。その結果、前方環境の実景に虚像を重畳して乗員に視認させることが可能となる。
　尚、液晶ディスプレイやスクリーンに表示される映像としては、車両に関する情報や乗員の運転の支援の為に用いられる各種情報がある。特に本実施形態では、視認性が閾値よりも低いと判定された接続道路を運転者に示唆する為の情報が表示される。
　また、本実施形態では前方環境の実景に重畳する画像を表示する手段としてＨＵＤ１９を用いているが、他の手段を用いても良い。例えば、フロントウィンドウに対して映像を表示するウインドウシールドディスプレイ（ＷＳＤ）を用いても良い。例えば、フロントウィンドウをスクリーンとしてプロジェクタから映像を表示しても良いし、フロントウィンドウを透過液晶ディスプレイとしても良い。ＷＳＤによってフロントウィンドウに対して表示された画像は、ＨＵＤ１９と同様に前方環境の実景に重畳する画像となる。
　一方、車外カメラ２０は、例えばＣＣＤ等の固体撮像素子を用いたカメラにより構成され、車両のルームミラーの裏側やフロントバンパ等に取り付けられるとともに光軸方向を水平より所定角度下方に向けて設置される。そして、車外カメラ２０は、車両の進行方向前方の周辺環境を撮像する。また、ナビゲーションＥＣＵ１３は後述のように撮像された撮像画像を３次元地図情報３４の画像と比較することによって、車両周辺にある接続道路の視認性の判定を行う。尚、車外カメラ２０は車両の側方や後方にも配置するように構成しても良い。また、車外カメラ２０の設置位置は運転者の目の位置（視線開始点）と略同一であって、光軸方向は通常時の運転者の視線方向と略同一となるように調整するのが望ましい。それによって、車外カメラ２０によって撮像された画像が運転者の視野と一致することとなり、接続道路の視認性の判定をより適切に行うことが可能となる。
　尚、本実施形態では特に車外カメラ２０の撮像画像と３次元地図情報３４とに基づいて、運転者の視野内に存在するとともに車両が走行する道路と車両の周囲にある分岐点で接続する接続道路の視認性を判定する。上記接続道路は、その道路上を移動する他車両、歩行者、自転車等が、今後に車両の走行する道路へと進入する虞のある道路である。そこで、後述のように接続道路に対する運転者の視認性が低い（即ち接続道路を運転者が把握できていないと予測される）場合には、接続道路の存在を運転者に把握させる為の案内を行う。
　続いて、上記構成を有する本実施形態に係るナビゲーション装置１においてＣＰＵ４１が実行する走行支援処理プログラムについて図２に基づき説明する。図２は本実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは、車両のＡＣＣ電源(accessory power supply)がＯＮされた後に実行され、車外カメラ２０で撮像した撮像画像と３次元地図情報３４とに基づいて運転者からの接続道路の視認性を判定し、視認性の低い接続道路を案内するプログラムである。また、以下の図２にフローチャートで示されるプログラムは、ナビゲーションＥＣＵ１３が備えているＲＡＭ４２、ＲＯＭ４３等に記憶されており、ＣＰＵ４１により実行される。
　先ず、走行支援処理プログラムでは、ステップ（以下、Ｓと略記する）１において、ＣＰＵ４１は車両の現在位置及び方位を現在位置検出部１１の検出結果に基づいて取得する。具体的には、２次元地図情報３３を用いて車両の現在位置を示す地図上の位置座標を取得する。尚、車両の現在位置を検出する際には、車両の現在位置を２次元地図情報３３にマッチングさせるマップマッチング処理についても行う。更に、車両の現在位置は、高精度ロケーション技術を用いて特定しても良い。ここで、高精度ロケーション技術とは、車両に設置されたカメラから取り込んだ白線や路面ペイント情報を画像認識により検出し、更に、白線や路面ペイント情報を予め記憶した地図情報ＤＢと照合することにより、走行車線や高精度な車両位置を検出可能にする技術である。尚、高精度ロケーション技術の詳細については既に公知であるので省略する。尚、車両の現在位置及び方位は最終的に３次元地図情報３４の地図上においても特定するのが望ましい。
　次に、Ｓ２においてＣＰＵ４１は、直近に車外カメラ２０で撮像された撮像画像を撮像画像ＤＢ３２から取得する。尚、車外カメラ２０で撮像された撮像画像は、運転者の視線開始点（視点）及び視線方向に対応して車両の進行方向前方、即ち運転者が視認する前方環境（運転者の視野）を撮像した画像である。
　続いて、Ｓ３においてＣＰＵ４１は、地図情報ＤＢ３１に格納された３次元地図情報３４の内、特に前記Ｓ１で特定された車両の現在位置周辺（例えば車両の現在位置から３００ｍ周囲）の３次元地図情報３４を取得する。
　その後、Ｓ４においてＣＰＵ４１は、前記Ｓ２で取得した撮像画像の撮像範囲を取得する。ここで、図３に示すように撮像画像３５の撮像範囲は、撮像を行った時点の車外カメラ２０の焦点Ｐの位置、光軸方向α、画角φによって特定することが可能である。尚、画角φは車外カメラ２０によって予め決められた固定値である。一方、焦点Ｐの位置は前記Ｓ１で取得した車両の現在位置と車両における車外カメラ２０の設置位置に基づいて決まる。また、光軸方向αは前記Ｓ１で取得した車両の方位と車両における車外カメラ２０の設置方向に基づいて決まる。
　次に、Ｓ５においてＣＰＵ４１は、前記Ｓ３で取得した３次元地図情報３４を用いて、前記Ｓ４で取得した撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から３次元で地図を表現した俯瞰画像（以下、地図情報画像という）を生成する。尚、地図情報画像自体は、撮像画像と同じ２次元の画像である。
　ここで、図４は撮像画像５１に対応して生成される地図情報画像５２の一例を示した図である。図４に示すように地図情報画像５２は撮像画像５１の撮像範囲（即ち運転者の視野内）に含まれる道路の輪郭５３を示す線が描かれた画像となる。そして、撮像画像５１では他車両等の障害物によって隠れている道路の輪郭についても地図情報画像５２では描かれることとなる。
　続いて、Ｓ６においてＣＰＵ４１は、前記Ｓ２で取得した撮像画像に対して画像認識処理を行うことによって、車両の周辺に位置する障害物を検出する。画像認識処理としては、２値化処理、特徴点やテンプレートを用いたパターンマッチング処理等が行われるが、それらの画像認識処理については既に公知であるので詳細は省略する。また、前記Ｓ３では、“障害物の種類”、“形状（検出した範囲）”、“自車両からの距離”、“位置座標”についてもそれぞれ取得する。“障害物の種類”としては、例えば車、歩行者、自転車等がある。“位置座標”については撮像画像上に直交座標系を設定した撮像画像上における位置座標とする。また、障害物の検出方法としては車外カメラ２０の撮像画像から検出する以外に、車両に設置されたセンサを用いて検出しても良いし、外部から通信によって障害物に関する情報を取得しても良い。尚、障害物は必ずしも形の定まったものである必要は無く、接続道路の視認性を阻害する物であれば例えば光や暗闇であっても良い。
　例えば、図４に示す例では３台の車両５４～５６が障害物として検出されることとなり、各車両５４～５６について“障害物の種類”、“形状（検出した範囲）”、“自車両からの距離”、“位置座標”が特定される。
　更に、Ｓ７においてＣＰＵ４１は、前記Ｓ６で検出された障害物の向き（進行方向）と障害物を検出した場所を特定する。尚、“障害物の向き（進行方向）”は障害物の種類と形状から特定しても良いし、所定間隔で連続して撮像した撮像画像中における障害物の位置の変化に基づいて特定しても良い。また、“障害物を検出した場所”は、前記Ｓ６で検出した障害物の位置座標と前記Ｓ５で生成した地図情報画像に基づいて、障害物が道路上に位置するか、道路外に位置するのかを特定する。更に、道路上である場合には、車両の走行する車線上に位置するか、対向車線上に位置するか、接続道路上に位置するかについても特定するのが望ましい。また、前記Ｓ７は前記Ｓ６で検出された全ての障害物を対象として行う。
　例えば、図４に示す例では３台の車両５４～５６について、“障害物の向き（進行方向）”は後方（自車両の方位と逆方向）と特定される。また、“障害物を検出した場所”は対向車線上と特定される。
　次に、Ｓ８においてＣＰＵ４１は、前記Ｓ２で取得した撮像画像に対して、運転者の視野内に存在する接続道路の視認性を判定する為の判定領域を設定する。尚、『接続道路』とは、車両が走行する道路と車両の周囲にある分岐点で接続する道路である。例えば、図４に示す例では、分岐点５７に接続する道路５８、５９が接続道路に該当する。尚、本実施形態では特に車両が走行する道路と交差する方向に接続する道路５８、５９を接続道路の対象とするが、進行方向に接続する道路６０についても接続道路に含めても良い。また、接続道路が複数ある場合には、接続道路毎に判定領域を設定する。尚、前記Ｓ２で取得した撮像画像内（即ち運転者の視野内）に接続道路が存在しない場合（障害物などで隠れて見えない場合も存在するとみなす）についてはＳ８以降の処理を行わずに当該走行支援処理を終了する。
　以下に、前記Ｓ８の判定領域の設定方法について、図５を用いてより詳細に説明する。以下の説明では車両の進行方向前方にある分岐点５７に右方向に接続する接続道路５９に対して設定する判定領域を例に挙げて説明する。
　先ず、ＣＰＵ４１は、前記Ｓ５で生成した地図情報画像５２に基づいて、撮像画像５１において接続道路５９が存在する位置を特定する。具体的には地図情報画像５２において接続道路５９の輪郭５３に囲まれるエリアと対応する撮像画像５１のエリアを特定する。特定されたエリアが撮像画像５１において接続道路５９が存在する位置となる。例えば図５では、ハッチングした領域が撮像画像５１において接続道路５９が存在する位置となる。続いて、ＣＰＵ４１は特定された接続道路５９の位置に基づいて、接続道路５９が分岐点５７と接続する最も自車両側に位置する端部Ｘを撮像画像５１において特定する。次に、撮像画像５１上で特定された端部Ｘを原点として、接続する分岐点５７から接続道路５９に沿って離れる方向に３ｍ、高さ方向に２ｍの矩形領域を判定領域６１に設定する。同様に他の接続道路に対しても判定領域を設定する。
　尚、前記Ｓ８で設定される判定領域６１は、撮像画像５１内、即ち運転者の視野内に存在する接続道路５９を対象として、接続道路５９の一部を少なくとも含む領域となる。より具体的には、接続道路５９が分岐点５７と接続する端部から接続道路５９に沿って３ｍｍ以内の道路部分を含む領域に対して判定領域６１が設定される。
　次に、Ｓ９においてＣＰＵ４１は、前記Ｓ２で取得した撮像画像における接続道路の位置と、同じく撮像画像における障害物の位置との位置関係に基づいて、撮像画像内（即ち運転者の視野内）に存在する接続道路の運転者からの視認性を判定する。尚、複数の接続道路が存在する場合には、接続道路毎に視認性を判定する。特に本実施形態では、前記Ｓ８で設定された判定領域内における接続道路と障害物の位置関係に基づいて、接続道路の運転者からの視認性を判定する。
　以下に、前記Ｓ９の視認性の判定方法について、図６を用いてより詳細に説明する。以下の説明では車両の進行方向前方にある分岐点５７に右方向に接続する接続道路５９に対する視認性の判定を例に挙げて説明する。
　先ず、ＣＰＵ４１は、前記Ｓ６で検出された障害物（図６に示す例では車両５４～５６）が撮像画像５１において存在する位置を特定する。次に、判定領域６１に対して車両５４～５６が重複する重複割合を算出する。具体的には、図６に示すように判定領域６１の全領域の面積の内、車両５４～５６が重複している面積の割合を重複割合として算出する。尚、車両５４～５６の位置や形状については前記Ｓ６で検出される。そして、算出した重複割合を、接続道路５９の運転者からの視認性を示す数値とする。尚、ＣＰＵ４１は、算出した重複割合（視認性）が閾値（例えば８０％）以上の場合には該当する接続道路が運転者から視認できないと判定し、重複割合が閾値未満の場合には該当する接続道路が運転者から視認できると判定する。
　また、図８に示すように判定領域６１を複数の区画に区分しても良い。例えば、図８では判定領域６１を対向する各辺の中点を結んだ線を境界とした４つの区画７１～７４に区分した例を示す。更に、本実施形態では以下の（Ａ）、（Ｂ）のように区画７１～７４毎に異なる視認性の算出基準を設定することも可能である。尚、以下の説明では左上の区画を区画７１、左下の区画を区画７２、右上の区画を区画７３、右下の区画を区画７４として説明する。
　（Ａ）一例として複数の区画７１～７４の内、分岐点と接続する端部から近い区画程、重複割合がより高く算出され易い算出基準を設定する。ここで、分岐点と接続する端部から近い区画は、接続道路の入口付近に位置する区画となるので、特に接続道路から車両が走行する道路へと進入する車両や歩行者がいるか否かを運転者が判断するに際して重要な区画となる。従って、分岐点と接続する端部から近い区画程、重複割合がより高く算出され易い算出基準を設定する。
　例えば図５に示すように車両の進行方向前方にある分岐点５７に右方向に接続する接続道路５９に対して設定した判定領域６１については、分岐点５７に近い区画７１、７２について、区画７３、７４よりも重複割合がより高く算出され易い算出基準を設定する。例えば区画７１、７２については実際に区画７１、７２に対して障害物が重複する割合を１．２倍した割合を重複割合として算出する。一方、区画７３、７４については実際に区画７３、７４に対して障害物が重複する割合を０．８倍した割合を重複割合として算出する。そして、区画毎に算出した重複割合を合計した値を、判定領域６１に対して障害物が重複する重複割合とする。
　尚、分岐点に左方向に接続する接続道路に対して設定した判定領域については、上記例と左右逆となる。
　（Ｂ）他の例として複数の区画７１～７４の内、下側にある区画程、重複割合がより高く算出され易い算出基準を設定する。ここで、図５に示すように判定領域６１は下端を接続道路５９の手前側の端部Ｘに基づいて設定するので、下側にある区画７２、７４は上側にある区画７１、７３よりも、接続道路５９と重複する割合が高くなる。即ち、下側にある区画は、接続道路を移動する車両や歩行者が位置する可能性の高い区画となるので、特に接続道路から車両が走行する道路へと進入する車両や歩行者がいるか否かを運転者が判断するに際して重要な区画となる。従って、下側にある区画程、重複割合がより高く算出され易い算出基準を設定する。
　例えば区画７２、７４については実際に区画７２、７４に対して障害物が重複する割合を１．２倍した割合を重複割合として算出する。一方、区画７１、７３については実際に区画７１、７３に対して障害物が重複する割合を０．８倍した割合を重複割合として算出する。そして、区画毎に算出した重複割合を合計した値を、判定領域６１に対して障害物が重複する重複割合とする。
　尚、上記（Ａ）と（Ｂ）とを組み合わせても良い。その場合には、区画７１、７２、７４については実際に区画７１、７２、７４に対して障害物が重複する割合を１．２倍した割合を重複割合として算出する。一方、区画７３については実際に区画７３に対して障害物が重複する割合を０．８倍した割合を重複割合として算出する。そして、区画毎に算出した重複割合を合計した値を、判定領域６１に対して障害物が重複する重複割合とする。更に、区間７２については１．４倍にしても良い。
　また、接続道路の道路幅に応じて判定領域６１を区分する境界を変更しても良い。具体的には、図８に示すように接続道路の道路幅が狭い場合には、上下を区分する境界を下側に移動させ、接続道路の道路幅が広い場合には、上下を区分する境界を上側に移動させる。それによって、上記（Ｂ）においてより適切な重複割合の補正が可能となる。
　次に、Ｓ１０においてＣＰＵ４１は、車両から停止可能距離にあって、前記Ｓ９で算出した重複割合（視認性）が閾値（例えば８０％）以上の接続道路、即ち運転者の視野内にあって運転者から視認できない接続道路があるか否か判定する。尚、『停止可能距離』は、車両が所定の加速度（運転者に負担が生じない上限加速度とする）以下で停止可能な距離であり、車両の現在の車速に基づいて算出される。また、前記Ｓ１０で判断基準となる閾値は適宜変更可能であり、例えば５０％としても良い。また、周辺環境によって閾値を変更可能にしても良い。例えば、夜や降雨時等の視界が悪い環境であればその他の環境の場合よりも閾値を高く設定する。
　そして、車両から停止可能距離にあって、前記Ｓ９で算出した重複割合（視認性）が閾値（例えば８０％）以上の接続道路、即ち運転者から視認できない接続道路があると判定された場合（Ｓ１０：ＹＥＳ）には、Ｓ１１へと移行する。それに対して、前記Ｓ９で算出した重複割合（視認性）が閾値（例えば８０％）以上の接続道路が無い、或いは有ったとしても停止可能距離外であると判定された場合（Ｓ１０：ＮＯ）には、Ｓ１３へと移行する。
　Ｓ１１においてＣＰＵ４１は、前記Ｓ６で特定した障害物の種類と、前記Ｓ７で特定した障害物の向き（進行方向）及び検出場所に基づいて、接続道路と重複する障害物が車両であって、該車両が接続道路上に位置するか否かを判定する。ここで、仮に接続道路が他車両と重複して視認できなかったとしても、該他車両が接続道路上を走行する車両であれば、運転者は該他車両の位置から接続道路の位置や形状をある程度把握でき、接続道路から自車両が走行する道路へと進入する車両がいるか否かについても運転者が判断可能である。従って、そのような場合には例外的に視認性が閾値以下である接続道路であったとしても、運転者が視認できるとみなす。
　そして、接続道路と重複する障害物が車両であって、該車両が接続道路上に位置すると判定された場合（Ｓ１１：ＹＥＳ）には、Ｓ１３へと移行する。それに対して、接続道路と重複する障害物が車両以外である、或いは車両であっても接続道路上に位置しないと判定された場合（Ｓ１１：ＮＯ）には、Ｓ１２へと移行する。
　Ｓ１２においてＣＰＵ４１は、ＨＵＤ１９に対して制御信号を送信し、ＨＵＤ１９の液晶ディスプレイに対して運転者が視認できないと判定された接続道路（以下、不可視道路という）の存在を示唆する映像を出力する。具体的には、不可視道路の内、分岐点と接続する端部を含む範囲に重畳して運転者に視認される重畳画像を表示する。また、不可視道路を警告する音声をスピーカ１６から出力しても良い。
　例えば、図９は前記Ｓ１２において表示される重畳画像の一例を示した図である。
　図９に示すように車両の進行方向の所定距離（２５ｍ）前方の位置に、不可視道路の存在を示唆するエクスクラメーションマークの虚像（重畳画像）７５が表示される。特に、虚像７５は不可視道路の内、分岐点と接続する端部を含む範囲、即ち不可視道路の入口付近に重畳して運転者に視認されるので、不可視道路から自車両が走行する道路へと進入する他車両や歩行者がいる場合であっても、他車両や歩行者の進入に対して事前に注意を払うことが可能となる。
　また、前記Ｓ１２で表示される重畳画像は、車両から不可視道路までの距離が接近する程、サイズを大きくするのが望ましい。それによって、視覚的に不可視道路までの距離を運転者に把握させることが可能となる。
　一方、Ｓ１３においてＣＰＵ４１は、撮像画像内（即ち運転者の視野内）に運転者から視認できない接続道路は無いと判定し、特に接続道路に対する案内を行うことなく当該走行支援処理を終了する。
　尚、接続道路の運転者からの視認性を判定した判定結果を出力する出力手段として、本実施形態では特に運転者から視認できない（視認性が閾値以下）と判定された不可視道路の存在を運転者に示唆する案内を行っているが、判定結果を出力する出力手段として、判定結果に基づく車両制御を行うようにしても良い。例えば、不可視道路を運転者に気付かせる為の車両制御、或いは不可視道路を避ける車両制御を行うことが可能である。具体的には、不可視道路の手前で減速する車両制御がある。また、判定結果を自動運転車両に対して適用することも可能である。
　更に、不可視道路においてどのような危険因子があるのかを機械学習によって判別できるのであれば、より具体的に危険因子を特定する案内（例えば「車両の前方死角にある交差道路から進入する歩行者に注意してください」）を行っても良い。
　以上詳細に説明した通り、本実施形態に係るナビゲーション装置１及びナビゲーション装置１で実行されるコンピュータプログラムでは、車両の周辺環境を撮像した撮像画像を取得し（Ｓ２）、３次元で地図を表現した地図画像において撮像画像の撮像範囲と同一範囲を撮像画像の撮像方向と同一方向から示す地図画像である地図情報画像を取得し（Ｓ５）、撮像画像と地図情報画像に基づいて、車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定し（Ｓ１０）、特定された接続道路である不可視道路の存在を示唆する案内を行う（Ｓ１２）ので、危険因子となり得る接続道路については案内を行う一方で、不要な案内についてはできる限り制限することが可能となる。
　尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
　例えば、本実施形態では、３次元地図情報３４は３次元で道路の輪郭を表現した地図画像に関する情報であるが、道路の輪郭以外の情報を表現した地図情報としても良い。例えば、施設形状、道路の区画線、道路標識、看板等についても表現した地図画像としても良い。
　また、本実施形態では、不可視道路を運転者に示唆する案内として、不可視道路の入口付近に重畳して視認される画像を表示している（図９）が、重畳画像は他の形態の画像としても良い。例えば、不可視道路の輪郭に重畳して視認される線分の画像を表示しても良い。
　また、本実施形態では、判定領域６１を横３ｍ縦２ｍの矩形形状としているが、判定領域６１のサイズや形状は適宜変更可能であり、例えば円形状としても良い。また、図７には、判定領域６１を４つの区画に区分する例を示したが、区分する数は３以下或いは５以上としても良い。
　また、本実施形態では走行支援処理プログラム（図２）はナビゲーション装置１が実施しているが、ナビゲーション装置以外の車載器が実施する構成としても良い。例えば、ＨＵＤ１９の制御部、車両制御ＥＣＵ、その他の車載器が実行する構成としても良い。尚、ＨＵＤ１９の制御部が実行する場合には、本発明に係る走行支援装置はＨＵＤ１９で構成することも可能である。また、車載器が全ての処理を実施するのではなく、一部の処理を外部サーバが実施することとしても良い。
　また、本発明に係る走行支援装置を具体化した実施例について上記に説明したが、走行支援装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
　例えば、第１の構成は以下のとおりである。
　車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定する道路特定手段（４１）と、前記道路特定手段により特定された接続道路である不可視道路の存在を示唆する案内を行う案内手段（４１）と、を有する。
　上記構成を有する走行支援装置によれば、運転者からの視認性が閾値よりも低い接続道路の存在を示唆する案内を行うことによって、危険因子となり得る接続道路については案内を行う一方で、不要な案内についてはできる限り制限することが可能となる。
　また、第２の構成は以下のとおりである。
　運転者の視線開始点及び視線方向と対応した光軸を備える撮像装置（２０）によって車両の周辺環境を撮像した撮像画像（５１）を取得する周辺環境撮像手段（４１）を有し、前記道路特定手段（４１）は、前記撮像画像に基づいて前記不可視道路を特定する。
　上記構成を有する走行支援装置によれば、運転者の視野と対応させた撮像画像を取得することが可能であり、撮像画像に基づいて運転者の視野内に存在する接続道路に対する視認性を正確に判定することが可能となる。
　また、第３の構成は以下のとおりである。
　車両の現在の車速を取得する車速取得手段（４１）と、車両の現在の車速に基づいて車両が所定の加速度以下で停止可能な距離を停止可能距離として取得する距離取得手段（４１）と、を有し、前記道路特定手段（４１）は、車両から前記停止可能距離にある前記不可視道路を特定する。
　上記構成を有する走行支援装置によれば、特に運転者が無理なく手前で停止可能な不可視道路を対象として案内するので、案内を行うことによって運転者に無理な車両操作を行わせることを防止することが可能となる。
　また、第４の構成は以下のとおりである。
　前記道路特定手段（４１）は、運転者の視野内に存在する前記接続道路について、分岐点と接続する端部から前記接続道路に沿って所定距離以内の範囲を対象として前記視認性を判定する。
　上記構成を有する走行支援装置によれば、特に接続道路の入口付近の範囲を対象として視認性を判定するので、接続道路から車両が走行する道路へと進入する直前の車両や歩行者を運転者から視認することができるか否かについて考慮して接続道路の視認性を判定することが可能となる。
　また、第５の構成は以下のとおりである。
　前記案内手段（４１）は、前記不可視道路に重畳して運転者に視認される重畳画像（７５）を表示することによって前記不可視道路の存在を示唆する案内を行う。
　上記構成を有する走行支援装置によれば、運転者の視線を移動させることなく不可視道路の位置を運転者に明確に把握させることが可能となる。
　また、第６の構成は以下のとおりである。
　前記案内手段（４１）は、前記不可視道路の内、分岐点と接続する端部を含む範囲に重畳して運転者に視認される前記重畳画像（７５）を表示する。
　上記構成を有する走行支援装置によれば、重畳画像が不可視道路の入口付近に重畳して運転者に視認されるので、不可視道路から自車両が走行する道路へと進入する他車両や歩行者がいる場合であっても、進入箇所に対して事前に注意を払うことが可能となる。
　また、第７の構成は以下のとおりである。
　前記案内手段（４１）は、車両から前記不可視道路までの距離が接近する程、前記重畳画像（７５）のサイズを大きくする。
　上記構成を有する走行支援装置によれば、視覚的に不可視道路までの距離を運転者に容易に把握させることが可能となる。
　　１　　　　　　　ナビゲーション装置
　　１３　　　　　　ナビゲーションＥＣＵ
　　１９　　　　　　ＨＵＤ
　　２０　　　　　　車外カメラ
　　３１　　　　　　地図情報ＤＢ
　　３２　　　　　　撮像画像ＤＢ
　　３３　　　　　　２次元地図情報
　　３４　　　　　　３次元地図情報
　　４１　　　　　　ＣＰＵ
　　４２　　　　　　ＲＡＭ
　　４３　　　　　　ＲＯＭ
　　５１　　　　　　撮像画像
　　５２　　　　　　地図情報画像
　　５４～５６　　　障害物
　　５８、５９　　　接続道路
　　６１　　　　　　判定領域
　　７５　　　　　　虚像

Claims (8)

  1. 　車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定する道路特定手段と、
    　前記道路特定手段により特定された接続道路である不可視道路の存在を示唆する案内を行う案内手段と、を有する走行支援装置。
  2. 　運転者の視線開始点及び視線方向と対応した光軸を備える撮像装置によって車両の周辺環境を撮像した撮像画像を取得する周辺環境撮像手段を有し、
    　前記道路特定手段は、前記撮像画像に基づいて前記不可視道路を特定する請求項１に記載の走行支援装置。
  3. 　車両の現在の車速を取得する車速取得手段と、
    　車両の現在の車速に基づいて車両が所定の加速度以下で停止可能な距離を停止可能距離として取得する距離取得手段と、を有し、
    　前記道路特定手段は、車両から前記停止可能距離にある前記不可視道路を特定する請求項１又は請求項２に記載の走行支援装置。
  4. 　前記道路特定手段は、
    　　　運転者の視野内に存在する前記接続道路について、分岐点と接続する端部から前記接続道路に沿って所定距離以内の範囲を対象として前記視認性を判定する請求項１乃至請求項３のいずれかに記載の走行支援装置。
  5. 　前記案内手段は、前記不可視道路に重畳して運転者に視認される重畳画像を表示することによって前記不可視道路の存在を示唆する案内を行う請求項１乃至請求項４のいずれかに記載の走行支援装置。
  6. 　前記案内手段は、前記不可視道路の内、分岐点と接続する端部を含む範囲に重畳して運転者に視認される前記重畳画像を表示する請求項５に記載の走行支援装置。
  7. 　前記案内手段は、車両から前記不可視道路までの距離が接近する程、前記重畳画像のサイズを大きくする請求項５又は請求項６に記載の走行支援装置。
  8. 　コンピュータを、
    　　　車両が走行する道路と車両の周囲にある分岐点で接続する道路である接続道路の内、運転者の視野内に存在するとともに運転者からの視認性が閾値よりも低い接続道路を特定する道路特定手段と、
    　　　前記道路特定手段により特定された接続道路である不可視道路の存在を示唆する案内を行う案内手段と、して機能させる為のコンピュータプログラム。
PCT/JP2017/036560 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム WO2018066710A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018543999A JP6700623B2 (ja) 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム
EP17858546.9A EP3496068A4 (en) 2016-10-07 2017-10-09 FAHRASSISTENZVORRICHTUNG AND COMPUTER PROGRAM
CN201780060962.8A CN109791737A (zh) 2016-10-07 2017-10-09 行驶辅助装置以及计算机程序
US16/331,336 US10733462B2 (en) 2016-10-07 2017-10-09 Travel assistance device and computer program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016199254 2016-10-07
JP2016-199254 2016-10-07

Publications (1)

Publication Number Publication Date
WO2018066710A1 true WO2018066710A1 (ja) 2018-04-12

Family

ID=61831788

Family Applications (3)

Application Number Title Priority Date Filing Date
PCT/JP2017/036561 WO2018066711A1 (ja) 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム
PCT/JP2017/036560 WO2018066710A1 (ja) 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム
PCT/JP2017/036562 WO2018066712A1 (ja) 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036561 WO2018066711A1 (ja) 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/036562 WO2018066712A1 (ja) 2016-10-07 2017-10-09 走行支援装置及びコンピュータプログラム

Country Status (5)

Country Link
US (3) US10733462B2 (ja)
EP (3) EP3496033A4 (ja)
JP (3) JP6700623B2 (ja)
CN (3) CN109791738B (ja)
WO (3) WO2018066711A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022516849A (ja) * 2019-01-18 2022-03-03 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11017269B2 (en) * 2016-09-30 2021-05-25 General Electric Company System and method for optimization of deep learning architecture
KR102551130B1 (ko) * 2017-01-12 2023-07-05 모빌아이 비젼 테크놀로지스 엘티디. 차량 움직임에 기반한 항법
CN108346107B (zh) * 2017-12-28 2020-11-10 创新先进技术有限公司 一种社交内容风险识别方法、装置以及设备
US11041730B2 (en) * 2018-03-02 2021-06-22 DeepMap Inc. Reverse rendering of an image based on high definition map data
US11846514B1 (en) 2018-05-03 2023-12-19 Zoox, Inc. User interface and augmented reality for representing vehicles and persons
US10837788B1 (en) 2018-05-03 2020-11-17 Zoox, Inc. Techniques for identifying vehicles and persons
US10809081B1 (en) * 2018-05-03 2020-10-20 Zoox, Inc. User interface and augmented reality for identifying vehicles and persons
CN112384760B (zh) * 2018-05-15 2024-07-05 御眼视觉技术有限公司 用于自主车辆导航的系统和方法
JP6766844B2 (ja) * 2018-06-01 2020-10-14 株式会社デンソー 物体識別装置、移動体用システム、物体識別方法、物体識別モデルの学習方法及び物体識別モデルの学習装置
US11002066B2 (en) * 2018-06-19 2021-05-11 Apple Inc. Systems with dynamic pixelated windows
JP7070157B2 (ja) * 2018-06-29 2022-05-18 富士通株式会社 画像処理プログラム、画像処理装置及び画像処理方法
US11195030B2 (en) * 2018-09-14 2021-12-07 Honda Motor Co., Ltd. Scene classification
US20200090501A1 (en) * 2018-09-19 2020-03-19 International Business Machines Corporation Accident avoidance system for pedestrians
US11495028B2 (en) * 2018-09-28 2022-11-08 Intel Corporation Obstacle analyzer, vehicle control system, and methods thereof
US11055857B2 (en) 2018-11-30 2021-07-06 Baidu Usa Llc Compressive environmental feature representation for vehicle behavior prediction
US10824947B2 (en) * 2019-01-31 2020-11-03 StradVision, Inc. Learning method for supporting safer autonomous driving without danger of accident by estimating motions of surrounding objects through fusion of information from multiple sources, learning device, testing method and testing device using the same
JP7228472B2 (ja) * 2019-06-07 2023-02-24 本田技研工業株式会社 認識装置、認識方法、およびプログラム
CN114026611A (zh) * 2019-06-10 2022-02-08 华为技术有限公司 使用热图检测驾驶员注意力
KR102664123B1 (ko) * 2019-09-09 2024-05-09 현대자동차주식회사 차량 데이터 생성 장치 및 방법, 그리고 시스템
JP7139300B2 (ja) * 2019-10-03 2022-09-20 本田技研工業株式会社 認識装置、認識方法、およびプログラム
JP7407034B2 (ja) * 2020-03-19 2023-12-28 本田技研工業株式会社 走行経路設定装置、走行経路を設定する方法およびプログラム
JP7380443B2 (ja) * 2020-06-22 2023-11-15 トヨタ自動車株式会社 部分画像生成装置及び部分画像生成用コンピュータプログラム
CN116583889A (zh) * 2020-11-27 2023-08-11 日产自动车株式会社 车辆辅助方法及车辆辅助装置
JP2022123940A (ja) * 2021-02-15 2022-08-25 本田技研工業株式会社 車両制御装置
JP2022161066A (ja) * 2021-04-08 2022-10-21 トヨタ自動車株式会社 表示制御システム、表示制御方法及びプログラム
CN113899355A (zh) * 2021-08-25 2022-01-07 上海钧正网络科技有限公司 地图更新方法、装置、云端服务器和共享骑行设备
US20230177839A1 (en) * 2021-12-02 2023-06-08 Nvidia Corporation Deep learning based operational domain verification using camera-based inputs for autonomous systems and applications

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2010134639A (ja) * 2008-12-03 2010-06-17 Honda Motor Co Ltd 視覚支援装置
JP2014120110A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
JP2015104930A (ja) * 2013-11-28 2015-06-08 株式会社デンソー ヘッドアップディスプレイ装置
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07333317A (ja) 1994-06-14 1995-12-22 Mitsubishi Electric Corp 移動体間距離認識装置
JPH09196695A (ja) 1996-01-18 1997-07-31 Matsushita Electric Ind Co Ltd ナビゲーション案内装置
US6285317B1 (en) * 1998-05-01 2001-09-04 Lucent Technologies Inc. Navigation system with three-dimensional display
EP1378724B1 (en) * 2002-07-01 2006-03-29 Mazda Motor Corporation Route guidance system based on visual activity of the driver
JP3932127B2 (ja) * 2004-01-28 2007-06-20 マツダ株式会社 車両用画像表示装置
JP2006172215A (ja) * 2004-12-16 2006-06-29 Fuji Photo Film Co Ltd 運転支援システム
JP4483764B2 (ja) 2005-10-28 2010-06-16 株式会社デンソー 運転支援システムおよびプログラム
JP2008046766A (ja) * 2006-08-11 2008-02-28 Denso Corp 車両外部情報表示装置
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
US20100070173A1 (en) * 2006-12-05 2010-03-18 Navitime Japan Co., Ltd. Navigation system, portable terminal device, and peripheral-image display method
JP5771889B2 (ja) * 2009-03-04 2015-09-02 日産自動車株式会社 経路案内装置及び経路案内方法
JP2010261747A (ja) * 2009-04-30 2010-11-18 Denso Corp 警報装置
JP5407898B2 (ja) * 2010-01-25 2014-02-05 株式会社豊田中央研究所 対象物検出装置及びプログラム
US20120242505A1 (en) * 2010-03-16 2012-09-27 Takashi Maeda Road-vehicle cooperative driving safety support device
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
JP5704902B2 (ja) 2010-11-26 2015-04-22 東芝アルパイン・オートモティブテクノロジー株式会社 運転支援装置及び運転支援方法
JP5743576B2 (ja) 2011-02-02 2015-07-01 スタンレー電気株式会社 物体検出システム
JP2012192878A (ja) 2011-03-17 2012-10-11 Toyota Motor Corp 危険度判定装置
JP5840046B2 (ja) * 2012-03-23 2016-01-06 株式会社豊田中央研究所 情報提供装置、情報提供システム、情報提供方法、及びプログラム
JP6024741B2 (ja) * 2012-03-29 2016-11-16 トヨタ自動車株式会社 運転支援装置
US10270642B2 (en) * 2012-12-05 2019-04-23 Origin Wireless, Inc. Method, apparatus, and system for object tracking and navigation
DE102012218360A1 (de) * 2012-10-09 2014-04-10 Robert Bosch Gmbh Blickfeldanzeige für ein Fahrzeug
US9330256B2 (en) * 2013-02-01 2016-05-03 Qualcomm Incorporated Location based process-monitoring
CN104112370B (zh) * 2014-07-30 2016-08-17 哈尔滨工业大学深圳研究生院 基于监控图像的停车场智能车位识别方法及系统
JP6361403B2 (ja) 2014-09-17 2018-07-25 アイシン・エィ・ダブリュ株式会社 自動運転支援システム、自動運転支援方法及びコンピュータプログラム
WO2016070193A1 (en) * 2014-10-31 2016-05-06 Nodal Inc. Systems, apparatus, and methods for improving safety related to movable/moving objects
JP2016122308A (ja) * 2014-12-25 2016-07-07 クラリオン株式会社 車両制御装置
CN104571513A (zh) * 2014-12-31 2015-04-29 东莞市南星电子有限公司 一种通过遮蔽摄像区域模拟触摸指令方法及系统
JP6418574B2 (ja) * 2015-01-14 2018-11-07 株式会社デンソーアイティーラボラトリ 危険度推定装置、危険度推定方法及び危険度推定用コンピュータプログラム
MX360967B (es) * 2015-04-21 2018-11-23 Nissan Motor Dispositivo de guiado de vehículos y método de guiado de vehículos.
EP3360716B1 (en) * 2015-10-09 2020-01-08 Nissan Motor Co., Ltd. Vehicular display device and vehicular display method
JP6623044B2 (ja) 2015-11-25 2019-12-18 日立オートモティブシステムズ株式会社 ステレオカメラ装置
CN105930833B (zh) * 2016-05-19 2019-01-22 重庆邮电大学 一种基于视频监控的车辆跟踪与分割方法
US10452926B2 (en) * 2016-12-29 2019-10-22 Uber Technologies, Inc. Image capture device with customizable regions of interest
US20180188427A1 (en) * 2016-12-29 2018-07-05 Uber Technologies, Inc. Color Filter Array for Image Capture Device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007129382A1 (ja) * 2006-04-28 2007-11-15 Panasonic Corporation ナビゲーション装置およびその方法
JP2010134639A (ja) * 2008-12-03 2010-06-17 Honda Motor Co Ltd 視覚支援装置
JP2014120110A (ja) * 2012-12-19 2014-06-30 Aisin Aw Co Ltd 走行支援システム、走行支援方法及びコンピュータプログラム
JP2015104930A (ja) * 2013-11-28 2015-06-08 株式会社デンソー ヘッドアップディスプレイ装置
JP2015108926A (ja) * 2013-12-04 2015-06-11 三菱電機株式会社 車両用運転支援装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3496068A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022516849A (ja) * 2019-01-18 2022-03-03 ベステル エレクトロニク サナイー ベ ティカレト エー．エス． ヘッドアップディスプレイシステム、方法、データキャリア、処理システム及び車両

Also Published As

Publication number Publication date
US10878256B2 (en) 2020-12-29
US20190344803A1 (en) 2019-11-14
EP3496068A1 (en) 2019-06-12
JP6658905B2 (ja) 2020-03-04
EP3496069A1 (en) 2019-06-12
CN109791738B (zh) 2021-12-21
US20190251374A1 (en) 2019-08-15
US20190197323A1 (en) 2019-06-27
WO2018066712A1 (ja) 2018-04-12
JPWO2018066711A1 (ja) 2019-06-24
EP3496069B1 (en) 2022-10-26
JP6700623B2 (ja) 2020-05-27
JPWO2018066712A1 (ja) 2019-04-25
WO2018066711A1 (ja) 2018-04-12
EP3496068A4 (en) 2019-06-12
CN109791738A (zh) 2019-05-21
CN109791053A (zh) 2019-05-21
EP3496069A4 (en) 2019-06-12
CN109791737A (zh) 2019-05-21
EP3496033A1 (en) 2019-06-12
US10733462B2 (en) 2020-08-04
EP3496033A4 (en) 2019-10-23
JP6566145B2 (ja) 2019-08-28
JPWO2018066710A1 (ja) 2019-06-24

Similar Documents

Publication Publication Date Title
WO2018066710A1 (ja) 走行支援装置及びコンピュータプログラム
US11535155B2 (en) Superimposed-image display device and computer program
US11511627B2 (en) Display device and computer program
JP7151073B2 (ja) 表示装置及びコンピュータプログラム
JP7476568B2 (ja) 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム
JP2019164611A (ja) 走行支援装置及びコンピュータプログラム
JP2023012793A (ja) 重畳画像表示装置
JP2017062706A (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP6435798B2 (ja) 車両情報案内システム、車両情報案内方法及びコンピュータプログラム
JP7143728B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP6582798B2 (ja) 走行支援システム、走行支援方法及びコンピュータプログラム
JP6984341B2 (ja) 重畳画像表示装置及びコンピュータプログラム
JP2019082382A (ja) 重畳画像表示装置
JP2023008462A (ja) 重畳画像表示装置
JP2023038558A (ja) 重畳画像表示装置
JP2021081232A (ja) 重畳画像表示装置及びコンピュータプログラム
JP2023097939A (ja) 重畳画像表示装置
JP2020085897A (ja) 重畳画像表示装置及びコンピュータプログラム
JP2023064957A (ja) 重畳画像表示装置
JP2022077198A (ja) 重畳画像表示装置
JP2024049817A (ja) 重畳画像表示装置
JP2022110828A (ja) 重畳画像表示装置
JP2019091382A (ja) 走行支援装置及びコンピュータプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17858546

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018543999

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2017858546

Country of ref document: EP

Effective date: 20190306

NENP Non-entry into the national phase

Ref country code: DE