WO2016031320A1 - 運転支援装置及び運転支援方法 - Google Patents

運転支援装置及び運転支援方法 Download PDF

Info

Publication number
WO2016031320A1
WO2016031320A1 PCT/JP2015/064609 JP2015064609W WO2016031320A1 WO 2016031320 A1 WO2016031320 A1 WO 2016031320A1 JP 2015064609 W JP2015064609 W JP 2015064609W WO 2016031320 A1 WO2016031320 A1 WO 2016031320A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
driving support
display
unit
road
Prior art date
Application number
PCT/JP2015/064609
Other languages
English (en)
French (fr)
Inventor
純一 青木
鯉渕 宏之
近藤 大介
Original Assignee
本田技研工業株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 本田技研工業株式会社 filed Critical 本田技研工業株式会社
Priority to US15/505,849 priority Critical patent/US20170253182A1/en
Publication of WO2016031320A1 publication Critical patent/WO2016031320A1/ja

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Arrangement of adaptations of instruments
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/002Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles specially adapted for covering the peripheral part of the vehicle, e.g. for viewing tyres, bumpers or the like
    • B60K35/28
    • B60K35/29
    • B60K35/81
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/265Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network constructional aspects of navigation devices, e.g. housings, mountings, displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/166Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B60K2360/177
    • B60K2360/179
    • B60K2360/1868
    • B60K2360/188
    • B60K2360/191
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Definitions

  • the present invention relates to a driving support device and a driving support method for notifying of the operating state of a driving support function provided in a vehicle.
  • driving support devices that provide driving support to the driver of a vehicle have become widespread.
  • the driver is informed by applying a reaction force to the accelerator pedal that the vehicle approaches a curve, or steering is performed to assist steering operation when the speed of entering the curve is too fast.
  • the execution state of the driving support is displayed on a display unit provided on a meter panel or the like in order to prevent the driver of the vehicle from feeling uneasy or uncomfortable.
  • a device for displaying a road shape image indicating the shape of a road on which a vehicle is traveling on the display unit of a head-up display projected forward of the driver see, for example, Patent Document 1.
  • the device notifies the driver that the vehicle has approached a sharp curve by displaying an arrow index provided along the road shape image and a numeric index indicating the curvature of the road.
  • the driver is warned that the vehicle has approached the center line or the left side width line by displaying in red the area where the vehicle approaches in the road shape image.
  • the driver's response to the front of the vehicle may be sparse by focusing on these multiple display portions. is there.
  • the present invention has been made in view of such background, and it is an object of the present invention to provide a driving support device capable of making the driver easily recognize both the change of the road shape and the execution state of the driving support.
  • the driving support device of the present invention has been made to achieve the above object, A road information acquisition unit that acquires road information including the shape of a road on which the vehicle is traveling; An information display unit for displaying information at a position visible to the driver of the vehicle; A driving support unit that provides driving support to a driver of the vehicle; The road information ahead of the vehicle acquired by the road information acquisition unit is displayed on the information display unit in different colors from the road image portion indicating the shape of the road and the left and right outer edges of the road image portion. The display state of the outer edge is changed according to the execution of driving assistance by the driving assistance unit, or the vehicle state display indicating the execution condition of driving assistance by the driving assistance unit. And a display control unit for notifying by displaying a unit on the information display unit.
  • the road information acquisition unit acquires road information ahead of the vehicle
  • the display control unit has different colors between the road image portion indicating the shape of the road and the left and right outer edges of the road image portion. Is displayed on the information display unit.
  • the execution state of the driving support by the driving support unit changes the display color of the outer edge according to the execution of the driving support by the driving support unit or indicates the execution state of the driving support by the driving support unit. It is alert
  • the change in the road shape in front of the vehicle can be obtained only by the display (shape and color) of the left and right outer edges of the road in the information display unit and the display of the vehicle state display unit.
  • Both of the execution states of the driving support can be notified to the driver of the vehicle.
  • the driver can visually recognize the left and right outer edges of the road in the information display unit and the vehicle state display unit without visually recognizing the plurality of information display units or recognizing characters. It is possible to easily grasp both the change of the road shape and the execution status of the driving support.
  • the display control unit may display the vehicle state display unit superimposed on the road image portion.
  • the driver of the vehicle can confirm the left and right outer edges of the road in the information display unit and the vehicle state display unit at a glance.
  • the display control unit is characterized by displaying an image portion representing a steering wheel on the vehicle state display unit when the driving support unit is executing driving support for operating a steering mechanism of the vehicle. .
  • the driver of the vehicle visually recognizes that the image portion representing the steering wheel is displayed on the vehicle state display unit, whereby driving assistance for operating the steering mechanism of the vehicle is performed. Can be easily recognized.
  • the display control unit may display an image portion representing a pedal on the vehicle state display unit when the driving support unit is executing driving support for applying a reaction force to the accelerator pedal of the vehicle. It features.
  • the driver of the vehicle visually recognizes that the image portion representing the pedal is displayed on the vehicle state display unit, whereby driving assistance for applying a reaction force to the accelerator pedal of the vehicle is performed. Can easily be recognized.
  • the display control unit is characterized in that an image portion representing a tire is displayed on the vehicle state display unit when driving support for stabilizing the posture of the vehicle is executed by the driving support unit. Do.
  • the driver of the vehicle visually recognizes that the image portion representing the tire is displayed on the vehicle state display unit, whereby driving assistance for stabilizing the posture of the vehicle is executed. It can be easily recognized.
  • the display control unit is characterized by displaying an image portion representing a brake lamp on the vehicle state display unit when the driving support unit is executing driving support for decelerating the vehicle. .
  • the driver of the vehicle visually recognizes that the image portion representing the brake lamp is displayed on the vehicle state display unit, whereby driving assistance for decelerating the vehicle is performed. Can be easily recognized.
  • the driver of a vehicle inferior in driving skill tends to be delayed in driving operation as compared to the driver superior in driving skill, so the change of the road information and the execution situation of the driving support are reported earlier. It is desirable to do.
  • the driving support apparatus of the present invention further includes a driving skill determination unit that determines the driving skill of the driver of the vehicle, and the display control unit determines the driving skill determined by the driving skill determination unit. It is characterized in that the timing of changing the display color of the outer edge is changed.
  • the display control unit detects a curve in front of the vehicle from the road information acquired by the road information acquisition unit, the display control unit changes the display color of the outer edge according to the distance from the vehicle to the curve It is characterized by
  • the distance from the vehicle to the curve can be notified by the change in the display color of the outer edge.
  • the display control unit is characterized in that the display color of the outer edge is displayed darker at the boundary with the road image portion and lighter as it is separated from the road image portion.
  • the road shape displayed on the information display unit can be further easily determined, and is particularly suitable for a complicated road shape such as, for example, an S-shaped curve.
  • the display control unit sets the display color of the outer edge to the first color when the driving support is not performed, and the driving control that applies a reaction force to the accelerator pedal of the vehicle is performed.
  • the display color of the outer edge is set to a second color different from the first color.
  • the driver of the vehicle visually recognizes that the display color of the outer edge is switched from the first color to the second color, thereby providing driving assistance for applying a reaction force to the accelerator pedal of the vehicle. It can be easily recognized that it is being executed.
  • the display control unit sets the display color of the outer edge as the first color when the driving assistance is not executed, and displays the outer edge when driving assistance for operating the steering mechanism of the vehicle is executed.
  • the color may be a third color different from the first color.
  • the driver of the vehicle visually recognizes that the display color of the outer edge has been switched from the first color to the third color, whereby driving assistance for operating the steering mechanism of the vehicle is executed. Can easily be recognized.
  • the driving support device of the present invention further includes a camera that captures an image of the periphery of the vehicle, and an ambient condition recognition unit that recognizes an ambient condition of the vehicle from an image captured by the camera, and the information display unit
  • the display color of the road image portion may be changed when it is recognized by the surrounding situation recognition unit that the vehicle approaches an obstacle or a lane marking.
  • the driving support device of the present invention further includes a camera that captures an image of the periphery of the vehicle, and an ambient condition recognition unit that recognizes an ambient condition of the vehicle from an image captured by the camera, and the information display unit When the surrounding situation recognition unit recognizes that the vehicle approaches an obstacle, an image portion indicating the obstacle is superimposed and displayed on the road image portion.
  • the image portion indicating the obstacle is superimposed and displayed on the road image portion, so that the driver of the vehicle is intuitively notified that the vehicle approaches the obstacle. Can be recognized.
  • the map image with which the captured image by the camera mounted in the vehicle and the navigation system mounted in the vehicle can be used.
  • the method of acquiring the road information from the captured image requires complicated image processing, there is a concern that it takes time to acquire.
  • the road information acquisition unit is characterized by acquiring road information from map information provided in the navigation system.
  • the road information can be acquired in a short time, and the time required to display the road information by the information display unit can be shortened.
  • the driving support method of the present invention is A road information acquisition unit for acquiring road information including the shape of a road on which a vehicle is traveling, an information display unit for displaying information at a position visible to the driver of the vehicle, and a driver of the vehicle
  • the road information part ahead of the vehicle acquired by the road information acquisition part is displayed on the information display part in different colors between the road image part indicating the shape of the road and the left and right outer edges of the road image part,
  • the display color of the outer edge is set to the first color
  • the driving support that applies a reaction force to the accelerator pedal of the vehicle is performed, the display color of the outer edge is set to the first color
  • both the change in the road shape in front of the vehicle and the execution status of the driving support can be made only by the display (shape and color) of the left and right outer edges of the road in the information display unit.
  • the driver of the vehicle can be notified.
  • the display color of the left and right outer edges of the road is the first color
  • the driving support is not executed
  • the display color is the second color
  • a reaction force is applied to the accelerator pedal of the vehicle
  • the driving support device further includes a camera that captures an image of the periphery of the vehicle, and includes an ambient condition recognition step of recognizing an ambient condition of the vehicle from an image captured by the camera.
  • the display control step when it is recognized that the vehicle approaches an obstacle in the surrounding state recognition step, an image portion indicating the obstacle is superimposed and displayed on the road image portion on the information display unit. It is characterized by
  • the image portion indicating the obstacle is superimposed and displayed on the road image portion, and the driver of the vehicle is intuitively informed that the vehicle approaches the obstacle. Can be recognized.
  • FIG. 4 is a flowchart of processing by the driving support device of the first embodiment.
  • Explanatory drawing which shows the position of the vehicle on a road. It is an explanatory view of a display by a display, and Drawing 4A shows a situation where driving support is not performed, Drawing 4B shows a situation where driving support which gives a reaction force to an accelerator pedal is performed, and Drawing 4C shows steering. Indicates the situation where driving support for operating the mechanism is being performed.
  • FIG. 5A is an explanatory view of a display by a display
  • FIG. 5A shows a situation where a vehicle approaches an obstacle or lane marking
  • FIG. 5B shows a situation where a vehicle approaches an obstacle
  • FIG. 5C shows an obstacle
  • FIG. 5D shows a gradation display of the road outer edge.
  • the block diagram of the driving assistance device in 2nd Embodiment. The flowchart of the process by the driving assistance device of 2nd Embodiment. It is an explanatory view of a display by a display, and Drawing 8A shows a situation where driving support is not performed, Drawing 8B shows a situation where driving support which gives a reaction force to an accelerator pedal is performed, and Drawing 8C shows steering.
  • Fig. 8D shows a gradation display of the road outer edge, showing a situation where driving support for operating the mechanism is being executed.
  • FIG. 9A is an explanatory view of a display by a display
  • FIG. 9A shows a situation where a vehicle approaches an obstacle or lane marking
  • FIG. 9B shows a situation where a vehicle approaches an obstacle
  • FIG. 9C shows an obstacle It is a modification which shows the situation which
  • the driving support device 10 a includes a camera 2, a navigation system 3, a speaker 4, a display 5 (corresponding to an information display unit of the present invention), a reaction force application mechanism 6, and steering. It is mounted on a vehicle (corresponding to the vehicle of the present invention) 1 provided with the mechanism 7 and the braking mechanism 8.
  • the navigation system 3 comprises map information 9.
  • the display 5 is provided at a position recognizable by the driver of the vehicle 1, for example, between a speedometer and a tachometer in a meter panel.
  • the driving support device 10a is an electronic unit configured by a CPU, a memory, various interface circuits, and the like (not shown), and the image processing unit 11 and the road information are executed by executing the driving support program stored in the memory by the CPU. It functions as the acquisition unit 12, the driving skill determination unit 13, the display control unit 14, the driving support unit 15, and the distance calculation unit 16.
  • the image processing unit 11 acquires a color captured image 31 from a video signal in front of the vehicle 1 output from the camera 2 and holds the image 31 in the image memory 30.
  • the image processing unit 11 converts a color component of each pixel of the captured image 31 into luminance to generate a gray scale image (multi-level image), and then extracts an edge point from the gray scale image to generate an edge image 32. It is generated and held in the image memory 30.
  • the image processing unit 11 recognizes from the edge image 32 an image portion of a left lane mark that divides the left side of the lane and a right lane mark that divides the right side of the lane, or an image of an obstacle such as a pedestrian or a bicycle. Recognize the part.
  • the driving skill determination unit 13 determines the driving skill of the driver of the vehicle 1 based on the past execution history of the driving support.
  • the driving support unit 15 is a reaction force application mechanism 6 when the speed of the vehicle 1 entering the curve is too fast, the vehicle 1 approaches a lane mark, or an obstacle to be avoided exists around the vehicle 1. , And operates the steering mechanism 7 and the braking mechanism 8.
  • the driving support unit 15 applies a reaction force (a force that suppresses a stepping force on the accelerator pedal by the driver) to the accelerator pedal by the reaction force applying mechanism 6.
  • the driving support unit 15 causes the steering mechanism 7 to generate a steering force so as to assist the driver's steering operation.
  • the driving support unit 15 brakes any of the tires by the braking mechanism 8 so as to stabilize the posture of the vehicle 1 or brakes the tires so as to decelerate the vehicle 1.
  • the driving support apparatus 10a executes the processing according to the flowchart shown in FIG. 2 at predetermined control cycles.
  • STEP 1 is processing by the road information acquisition unit 12.
  • the road information acquisition unit 12 acquires, from the map information 9 of the navigation system 3, road information including the road shape for the road ahead of the vehicle 1.
  • STEP 2 is processing by the distance calculation unit 16.
  • the distance calculation unit 16 calculates the distance from the vehicle 1 to the curve point ahead of the vehicle from the road information acquired by the road information acquisition unit 12, and proceeds to STEP 3.
  • STEP 3 to STEP 16 are processing by the display control unit 14.
  • the display control unit 14 determines whether the distance to the curve point calculated by the distance calculation unit 16 exceeds the first set distance, and proceeds to STEP 4 when the first set distance is exceeded. If it is within the first set distance, the process proceeds to STEP5.
  • the display control unit 14 sets the display color of the left and right outer edges (hereinafter referred to as road outer edge) EL and ER of the road image portion R indicating the shape of the road displayed by the display 5 to blue (FIG. 4A) ), Go to STEP8.
  • the road image portion R is displayed on the display 5 based on the road shape acquired in STEP 5 and the display color is black.
  • the display control unit 14 determines whether the distance to the curve point calculated by the distance calculation unit 16 exceeds the second set distance (where the second set distance is less than the first set distance). If it is determined that the second set distance is exceeded, the process proceeds to STEP 6; if it is within the second set distance, the process proceeds to STEP 7.
  • the case where the distance from the vehicle 1 to the curve point ahead of the vehicle exceeds the second set distance means that there is a curve farther from the vehicle 1 than the second set distance and within the first set distance. This is the case where the vehicle 1 is located at the point B in FIG. Further, the case where the distance from the vehicle 1 to the curve point ahead of the vehicle is within the second set distance means that there is a curve within the second set distance from the vehicle 1, and the vehicle 1 is at the point C in FIG. Or it is a case where it is located in D point.
  • the display control unit 14 sets the display color of the road outer edges EL and ER to yellow in STEP 6 (FIG. 4B), and proceeds to STEP 8.
  • the display control unit 14 sets the display color of the road outer edges EL and ER to orange (FIG. 4C), and proceeds to STEP 8.
  • the display control unit 14 sets the display color of the vehicle state display unit C to be displayed by being superimposed on the road image portion R in the display 5 in STEPs 8 to 15.
  • the vehicle state display unit C includes a pedal image portion P indicating the pedal of the vehicle 1, a handle image portion H indicating the steering wheel of the vehicle 1, and a tire image portion T indicating the tire of the vehicle 1. And a brake lamp image portion B showing a brake lamp of the vehicle 1, which are usually displayed in gray.
  • the display control unit 14 determines whether or not driving support for applying a reaction force to the accelerator pedal by the reaction force application mechanism 6 is being executed, and proceeds to STEP 9 if the driving support is being executed. If the driving support is not executed, the process proceeds to STEP10.
  • the display control unit 14 sets the vehicle state display unit C to display the pedal image portion P in yellow (FIG. 4B), and proceeds to STEP 10.
  • the display control unit 14 determines whether or not driving support that causes the steering force to generate a steering force by the steering mechanism 7 is performed. And when this driving support is performed, it progresses to STEP11, and when this driving support is not performed, it progresses to STEP12.
  • the display control unit 14 displays the steering wheel image portion H in green on the vehicle state display unit C, and sets the direction of the steering wheel image portion H to be displayed corresponding to the direction in which the vehicle 1 is operated. (FIG. 5A), proceed to STEP12.
  • the display control unit 14 determines whether or not driving support for braking any of the tires has been executed so as to stabilize the posture of the vehicle 1 by the braking mechanism 8. And when this driving support is performed, it progresses to STEP13, and when this driving support is not performed, it progresses to STEP14.
  • the display control unit 14 sets the tire image portion T of the vehicle state display unit C to be displayed in orange corresponding to the tire at the braked portion of the vehicle 1 (FIG. 5B). move on.
  • the display control unit 14 determines whether or not driving support for braking the tire is being executed so as to decelerate the vehicle 1 by the braking mechanism 8. And when this driving support is performed, it progresses to STEP15, and when this driving support is not performed, it progresses to STEP16.
  • the display control unit 14 sets the brake lamp image portion B of the vehicle state display unit C to be displayed in red in STEP 15 (FIG. 5C), and proceeds to STEP 16.
  • the display control unit 14 displays the road image portion R on the display 5 based on the road shape acquired in STEP 1, and colors the road outer edges EL and ER based on the settings in STEP 4, STEP 6 and STEP 7. indicate.
  • the display control unit 14 superimposes and displays the vehicle state display unit C on the road image portion R, and based on the settings in STEP 9, STEP 11, STEP 13 and STEP 15, the pedal image portion P, the steering wheel image portion H, The tire image portion T and the brake lamp image portion B are displayed in color.
  • FIG. 4A it is determined that the distance from the vehicle 1 to the curve is determined to exceed the first set distance in STEP 3 and it is determined that any driving support is not performed in STEP 8, STEP 10, STEP 12 and STEP 14.
  • the display state of the container 5 is shown.
  • the road image portion R is displayed in black, and the road outer edges EL and ER are displayed in blue different from the road image portion R, and the pedal image portion P, the steering wheel image portion H, and the tire image of the vehicle state display unit C.
  • the portion T and the brake lamp image portion B are both displayed in gray.
  • the road image portion R is displayed in black, the road outer edges EL and ER are displayed in yellow different from the road image portion R, and the steering wheel image portion H, the tire image portion T and the brake lamp of the vehicle state display unit C are displayed. All the image parts B are displayed in gray, and the pedal image part P is displayed in yellow.
  • FIG. 4C shows a display when it is determined in STEP 5 that the distance from the vehicle 1 to the curve is within the second set distance, and it is determined in STEP 8, STEP 10, STEP 12 and STEP 14 that any driving assistance is not performed. The display state of 5 is shown.
  • the road image portion R is displayed in black, and the road outer edges EL and ER are displayed in orange different from the road image portion R, and the pedal image portion P, the steering wheel image portion H, and the tire image
  • the portion T and the brake lamp image portion B are both displayed in gray.
  • the road image portion R is displayed in black, and the road outer edges EL and ER are displayed in orange different from the road image portion R, and the pedal image portion P, the tire image portion T and the brake lamp of the vehicle state display unit C are displayed.
  • the image portion B is displayed in gray and the handle image portion H is displayed in green.
  • the direction of the steering wheel image portion H corresponds to the direction in which the vehicle 1 is operated.
  • STEP 5 it is determined in STEP 5 that the distance from the vehicle 1 to the curve is within the second set distance, and any tire is used to stabilize the posture of the vehicle 1 by the braking mechanism 8 in STEP 8, STEP 10, STEP 12 and STEP 14. 7 shows the display state of the display 5 when it is determined that only the driving support for braking the vehicle is being performed.
  • the road image portion R is displayed in black, and the road outer edges EL and ER are displayed in orange different from the road image portion R, and the pedal image portion P, the steering wheel image portion H and the brake lamp of the vehicle state display unit C are displayed.
  • the image portion B is displayed in gray, and the tire image portion T corresponding to the tire at the portion being braked is displayed in orange.
  • FIG. 5C it is determined in STEP 5 that the distance from the vehicle 1 to the curve is within the second set distance, and in STEP 8, STEP 10, STEP 12 and STEP 14, the steering force is controlled to assist steering operation by the driver. It has been determined that three types of driving assistance, that is, driving assistance for braking any tire so as to stabilize the posture of the vehicle 1, and driving assistance for braking a tire so as to decelerate the vehicle 1, are executed. The display state of the display 5 at the time is shown.
  • the road image portion R is displayed in black, the road outer edges EL and ER are displayed in orange different from the road image portion R, and the pedal image portion P of the vehicle state display portion C is displayed in gray.
  • the portion H is displayed in green, the tire image portion T corresponding to the tire at the portion being braked is displayed in orange, and the brake lamp image portion B is displayed in red.
  • the change in the shape of the road ahead of the vehicle 1 and the driving assistance can be performed only by the display (shape and color) of the road outer edges EL and ER by the display 5 and the display of the vehicle state display unit C.
  • the driver of the vehicle 1 can be notified of both of the execution statuses of.
  • the driver can visually recognize the road outer edges EL and ER and the vehicle state display unit C in the display 5 without looking at the plurality of information display portions and recognizing the characters. It is possible to easily grasp both the change of the road shape and the execution status of the driving support.
  • the road outer edges EL, ER are displayed in FIGS. 4A to 4C and 5A to 5C as lines having a predetermined width and a solid color.
  • the border with the road image portion R may be darkened, and may be displayed lighter (gradation display) as the road image portion R is farther away.
  • the gradation display the change of the road shape displayed on the display 5 can be further easily discriminated, and in particular, it is suitable for a complicated road shape such as an S-curve, for example.
  • road information can be acquired in a short time from the map information 9 of the navigation system 3, and the time required for displaying the road information by the display 5 can be shortened.
  • road information may be acquired from an image captured by the camera 2.
  • the driving assistance apparatus 10a determines the driving skill of the driver of the vehicle 1 by the driving skill determination unit 13, and changes the timing of information display by the display 5 according to the determined driving skill. You may do so. For example, when it is determined that the driver is inferior to the driving skill, the timing of the information display by the display unit 5 is advanced compared to the driver who is excellent in the driving skill to execute the change of the road information and the driving support. The situation can be reported early.
  • the driving support device 10b of the second embodiment is the same as the driving support device 10a of the first embodiment described above, including the camera 2, the navigation system 3, the speaker 4, and the display 5 It is mounted on a vehicle (corresponding to a vehicle of the present invention) 1 provided with a reaction force application mechanism 6, a steering mechanism 7, and a braking mechanism 8 (corresponding to an information display unit).
  • the driving support device 10b is an electronic unit configured by a CPU, a memory, various interface circuits, and the like (not shown), and the CPU executes the driving support program stored in the memory by the CPU to obtain the captured image acquisition unit 20 and the edge. It functions as an image generation unit 21, a road information acquisition unit 12, a driving skill judgment unit 13, a display control unit 14, a lane mark recognition unit 22, an obstacle recognition unit 23 and a driving support unit 15.
  • the lane mark recognition unit 22 and the obstacle recognition unit 23 correspond to the surrounding situation recognition unit of the present invention. Moreover, about the structure similar to the driving assistance device 10a of 1st Embodiment, the same code
  • the driving support device 10b executes the process according to the flowchart shown in FIG. 7 every predetermined control cycle.
  • STEP 51 in FIG. 7 is processing performed by the captured image acquisition unit 20.
  • the captured image acquisition unit 20 inputs an image signal in front of the vehicle 1 output from the camera 2 and demosaicing color components (R value, G value, B value) of this image signal, and data of each pixel A color captured image 31 having R value, G value, and B value is acquired. Data of the acquired captured image 31 is held in the image memory 30.
  • STEP 52 is processing by the edge image generation unit 21.
  • the edge image generation unit 21 performs processing of converting the color component of each pixel of the captured image 31 into luminance to generate a grayscale image (multi-value image). Then, the edge image generation unit 21 is a pixel having a luminance difference (amount of change in luminance) with an edge point (a pixel in the peripheral portion (image part) in the gray scale image) or more than a predetermined value.
  • An edge image 32 is generated by extracting positive edge points and negative edge points whose luminance changes from bright to dark). The edge image 32 is held in the image memory 30.
  • a gray scale captured image can be obtained from the luminance of each pixel, so the process of generating a gray scale image from the color captured image described above is unnecessary.
  • STEP 53 is processing (lane mark recognition processing) by the lane mark recognition unit 22.
  • the lane mark recognition unit 22 recognizes, from the edge image 32 generated by the edge image generation unit 21, a left lane mark that divides the left side of the lane and an image portion of the right lane mark that divides the right side of the lane.
  • STEP 54 is processing (obstacle recognition processing) by the obstacle recognition unit 23.
  • the obstacle recognition unit 23 recognizes an image portion of an obstacle such as a pedestrian or a bicycle from the edge image 32 generated by the edge image generation unit 21.
  • STEP 55 is processing by the road information acquisition unit 12.
  • the road information acquisition unit 12 acquires, from the map information 9 of the navigation system 3, road information including the road shape for the road ahead of the vehicle 1.
  • Steps 56 to 63 are processing by the display control unit 14.
  • the display control unit 14 determines in step 56 whether the driving assistance by the driving assistance unit 15 is being executed. If the driving support is not executed at all, the process proceeds to STEP 57. If the driving support is performed, the process proceeds to STEP 58.
  • the display control unit 14 displays the display colors of the left and right outer edges (hereinafter referred to as road outer edges) EL, ER of the road image portion R indicating the shape of the road displayed by the display 5 as the road image portion R Set to a different blue (corresponding to the first color of the present invention) (FIG. 8A), and proceed to STEP 59.
  • the road image portion R is displayed on the display 5 based on the road shape acquired in STEP 55, and the display color is black (however, as described later, the distance from the vehicle 1 to the lane mark is less than a predetermined distance) Except when
  • the display control unit 14 sets the display color of the road outer edges EL, ER in accordance with the execution status of the driving assistance by the driving assistance unit 15, and proceeds to STEP 59.
  • the display control unit 14 displays the road outer edges EL and ER in yellow (corresponding to the second color of the present invention) ) Is set (FIG. 8B).
  • the display control unit 14 sets the display color of the road outer edges EL and ER to orange (in (Corresponding to the third color) (FIG. 8C).
  • the display control unit 14 determines whether the distance from the vehicle 1 to the lane mark is less than a predetermined distance based on the image portion of the lane mark recognized by the lane mark recognition unit 22. If the distance is less than the predetermined distance and the vehicle 1 is approaching the lane mark, the process proceeds to STEP 60. If the distance is equal to or more than the predetermined distance and the vehicle 1 is not approaching the lane mark, the process proceeds to STEP 61. move on.
  • the display control unit 14 sets the display color of the road image portion R displayed by the display 5, that is, the portion sandwiched between the road outer edges EL and ER to red in STEP 60 (see FIG. 9A), and proceeds to STEP 61.
  • the display control unit 14 determines whether there is an obstacle to be avoided, based on the image portion of the obstacle acquired by the obstacle recognition unit 23. If there is an obstacle to be avoided due to the distance from the vehicle 1 to the obstacle, the direction of the obstacle, etc., the process proceeds to STEP 62. If there is no obstacle to be avoided, the process proceeds to STEP 63.
  • the display control unit 14 sets an image portion W indicating an obstacle to be superimposed on the road image portion R in the display 5 (see FIG. 9B), and proceeds to STEP 63.
  • the display control unit 14 displays the road image portion R on the display 5 based on the road shape acquired in STEP 55 and the setting in STEP 60, and also based on the settings in STEP 57, STEP 58 and STEP 62.
  • the image portion W indicating the outer edge EL, ER and the obstacle is displayed.
  • FIG. 8A it is determined that the driving support is not executed at STEP 56, the vehicle 1 is determined not to approach the lane mark at STEP 59, and it is determined that the obstacle to be avoided does not exist at STEP 61.
  • the display state of the container 5 is shown.
  • the road image portion R is displayed in black, and the road outer edges EL and ER are displayed in blue different from the road image portion R.
  • FIG. 8B it is determined in STEP 58 that driving assistance for applying a reaction force to the accelerator pedal of the vehicle 1 is being executed, and that in STEP 59 it is determined that the vehicle 1 is not approaching a lane mark.
  • the display state of the display 5 when it is judged that a thing does not exist is shown.
  • the road image portion R is displayed in black, and the road outer edges EL and ER are displayed in yellow different from the road image portion R.
  • FIG. 8C it is determined in STEP 58 that driving assistance for steering the steering wheel of the vehicle 1 is being executed, that in STEP 59 it is determined that the vehicle 1 is not approaching the lane mark, and in STEP 61 there is no obstacle to be avoided Shows the display state of the display 5 when it is determined that In FIG. 8C, the road image portion R is displayed in black, and the road outer edges EL and ER are displayed in orange different from the road image portion R.
  • the driving support device 10b only the display (shape and color) of the road outer edges EL and ER by the display 5 can change both the change of the road shape in front of the vehicle 1 and the driving support execution condition.
  • the driver of can be informed.
  • the driver can change the shape of the road ahead of the vehicle 1 and drive the vehicle 1 only by visually recognizing the road outer edges EL and ER on the display 5, without visually recognizing the plurality of information display portions and recognizing characters. It is possible to easily grasp both the support execution status.
  • road outer edges EL and ER are displayed as lines having a predetermined width solidly painted with a single color in FIGS. 8A to 8C, as shown in FIG. 8D, the boundary with the road image portion R It may be darker and may be displayed lighter (gradation display) as it gets farther from the road image portion R.
  • gradation display the change of the road shape displayed on the display 5 can be further easily discriminated, and in particular, it is suitable for a complicated road shape such as an S-curve, for example.
  • FIG. 9A it is determined in STEP 58 that driving assistance for applying a reaction force to the accelerator pedal of the vehicle 1 is being executed, and that in STEP 59 it is determined that the vehicle 1 is approaching a lane mark.
  • the display state of the display 5 is shown when it is determined that there is no obstacle that should be.
  • the road image portion R is displayed in red, and the road outer edges EL and ER are displayed in yellow different from the road image portion R.
  • the road image portion R is displayed in black, the road outer edges EL and ER are displayed in yellow, and the image portion W indicating an obstacle is superimposed and displayed on the road image portion R.
  • the image portion W indicating an obstacle an image portion of the obstacle in the captured image 31 may be extracted, or an icon indicating an obstacle may be used.
  • the driving support device 10b in addition to the change of the road shape in front of the vehicle 1 and the execution condition of the driving support, there is an object to be avoided whether the vehicle 1 approaches the lane mark. It is possible to notify the driver of the vehicle 1 of the situation around the vehicle 1 as to whether or not it is.
  • the road image portion R is displayed in red and the image portion W showing the obstacle is superimposed on the road image portion R. May be displayed.
  • road information can be acquired in a short time from the map information 9 of the navigation system 3, and the time required to display the road information by the display 5 can be shortened.
  • road information may be acquired from an image 31 captured by the camera 2.
  • the driving assistance apparatus 10b determines the driving skill of the driver of the vehicle 1 by the driving skill determination unit 13, and changes the timing of the information display by the display 5 according to the determined driving skill. You may do so. For example, when it is determined that the driver is inferior to the driving skill, the timing of the information display by the display unit 5 is advanced compared to the driver who is excellent in the driving skill to execute the change of the road information and the driving support. The situation can be reported early.
  • SYMBOLS 1 Vehicle (self-vehicle), 5 ... Display (information display part), 7 ... Steering mechanism, 9 ... Map information, 10 ... Driving assistance device, 12 ... Road information acquisition part, 13 ... Driving skill judgment part, 14 ... Display control unit 15
  • Driver assistance unit 20 Captured image acquisition unit 21
  • Edge image generation unit 22 Lane mark recognition unit (surrounding condition recognition unit) 23
  • Obstacle recognition unit (surrounding condition recognition unit) B: An image portion representing a brake lamp
  • C vehicle state display unit
  • EL, ER road outer edge
  • H an image portion representing a steering wheel
  • P an image portion representing a pedal
  • R a road image portion
  • T a tire Image part
  • W an image part showing an obstacle.

Abstract

 運転支援装置10は、道路情報取得部12と、情報表示部5と、運転支援部15と、道路情報取得部12によって取得された車両1の前方の道路情報を、道路の形状を示す道路画像部分Rと該道路画像部分Rの左右の外縁EL,ERとを異なる色で情報表示部5に表示することによって報知するとともに、運転支援部15による運転支援の実行状態を示す車両状態表示部Cを表示する表示制御部14とを備える。

Description

運転支援装置及び運転支援方法
 本発明は、車両に備えられた運転支援機能の作動状況を報知する運転支援装置及び運転支援方法に関する。
近年、車両の運転者に対して運転支援を行う運転支援装置が普及している。運転支援の機能としては、車両がカーブに接近したことをアクセルペダルに反力を付与することによって運転者に知らせたり、カーブに対する進入速度が速すぎるときにハンドル操作をアシストするように操舵したりするものを挙げることができる。このような運転支援を行うときには、車両の運転者に不安感や違和感を与えないようにするために、メータパネル等に設けられた表示部に運転支援の実行状況を表示している。
 また、運転者の前方に投影されるヘッドアップディスプレイの表示部に、車両が走行している道路の形状を示す道路形状画像を表示する装置が知られている(例えば、特許文献1参照)。前記装置では、前記道路形状画像に沿って設けられる矢印指標と、道路の曲率を示す数字指標とを表示することによって、車両が急カーブに接近したことを運転者に報知する。また、前記道路形状画像のうち車両が接近した領域を赤色に着色表示することによって、車両が中央線又は左側幅員線に接近したことを運転者に警告する。
特開2005-145434号公報
 しかしながら、上述した運転支援の実行状況と道路形状の警告との表示タイミングが重なった場合には、これらの複数の表示部を注視することで、運転者の車両前方に対する対応が疎かになる虞がある。
 本発明はかかる背景に鑑みてなされたものであり、道路形状の変化及び運転支援の実行状況の両方を運転者に容易に認識させることができる運転支援装置を提供することを目的とする。
 本発明の運転支援装置は、上記目的を達成するためになされたものであり、
 車両が走行している道路について該道路の形状を含む道路情報を取得する道路情報取得部と、
 前記車両の運転者から視認可能な位置に情報を表示する情報表示部と、
 前記車両の運転者に対して運転支援を行う運転支援部と、
 前記道路情報取得部によって取得された前記車両の前方の道路情報を、道路の形状を示す道路画像部分と該道路画像部分の左右の外縁とを異なる色で前記情報表示部に表示すると共に、前記運転支援部による運転支援の実行状態を、前記運転支援部による運転支援の実行に応じて前記外縁の表示色を変化させるか、又は、前記運転支援部による運転支援の実行状態を示す車両状態表示部を前記情報表示部に表示することによって報知する表示制御部と
を備えることを特徴とする。
 本発明の運転支援装置では、前記道路情報取得部によって車両の前方の道路情報が取得され、前記表示制御部によって道路の形状を示す道路画像部分と該道路画像部分の左右の外縁とが異なる色で前記情報表示部に表示される。また、前記運転支援部による運転支援の実行状態が、前記運転支援部による運転支援の実行に応じて前記外縁の表示色を変化させるか、又は、前記運転支援部による運転支援の実行状態を示す車両状態表示部を前記情報表示部に表示することによって報知される。
 従って、本発明の運転支援装置によれば、前記情報表示部における前記道路の左右外縁の表示(形状及び色)と前記車両状態表示部の表示のみによって、前記車両の前方の道路形状の変化及び前記運転支援の実行状況の両方を、前記車両の運転者に報知することができる。これにより、前記運転者は、複数の情報表示部の視認や文字の認識をすることなく、前記情報表示部における前記道路の左右外縁及び前記車両状態表示部を視認するだけで、前記車両の前方の道路形状の変化及び前記運転支援の実行状況の両方を容易に把握することができる。
 また、前記表示制御部は、前記車両状態表示部を前記道路画像部分上に重畳させて表示することを特徴とする。
 この構成によれば、前記車両の運転者は、前記情報表示部における前記道路の左右外縁と前記車両状態表示部とを一目で確認することができる。
 また、前記表示制御部は、前記運転支援部によって前記車両の操舵機構を作動させる運転支援が実行されているときに、前記車両状態表示部にハンドルを表す画像部分を表示することを特徴とする。
 この構成によれば、前記車両の運転者は、前記車両状態表示部にハンドルを表す画像部分が表示されたことを視認することによって、車両の操舵機構を作動させる運転支援が実行されていることを容易に認識することができる。
 また、前記表示制御部は、前記運転支援部によって前記車両のアクセルペダルに反力を付与する運転支援が実行されているときに、前記車両状態表示部にペダルを表す画像部分を表示することを特徴とする。
 この構成によれば、前記車両の運転者は、前記車両状態表示部にペダルを表す画像部分が表示されたことを視認することによって、車両のアクセルペダルに反力を付与する運転支援が実行されていることを容易に認識することができる。
 また、前記表示制御部は、前記運転支援部によって前記車両の姿勢を安定させるための運転支援が実行されているときに、前記車両状態表示部にタイヤを表す画像部分を表示することを特徴とする。
 この構成によれば、前記車両の運転者は、前記車両状態表示部にタイヤを表す画像部分が表示されたことを視認することによって、車両の姿勢を安定させるための運転支援が実行されていることを容易に認識することができる。
 また、前記表示制御部は、前記運転支援部によって前記車両を減速させるための運転支援が実行されているときに、前記車両状態表示部にブレーキランプを表す画像部分を表示することを特徴とする。
 この構成によれば、前記車両の運転者は、前記車両状態表示部にブレーキランプを表す画像部分が表示されたことを視認することによって、車両を減速させるための運転支援が実行されていることを容易に認識することができる。
 ここで、運転技量に劣る車両の運転者は、運転技量に優れる運転者と比較して、運転操作が遅れる傾向があるので、前記道路情報の変化及び前記運転支援の実行状況を早めに報
 知することが望まれる。
 そこで、本発明の運転支援装置は、前記車両の運転者の運転技量を判定する運転技量判定部をさらに備え、前記表示制御部は、前記運転技量判定部によって判定された運転技量に応じて、前記外縁の表示色を変化させるタイミングを変更することを特徴とする。
 この構成によれば、前記道路情報の変化及び前記運転支援の実行状況を、前記車両の運転者の技量に応じたタイミングで報知することができる。
 また、前記表示制御部は、前記道路情報取得部によって取得された道路情報から前記車両の前方にカーブを検出したときに、前記車両から前記カーブまでの距離に応じて前記外縁の表示色を変更することを特徴とする。
 この構成によれば、前記車両から前記カーブまでの距離を、前記外縁の表示色の変化によって報知することができる。
 また、前記表示制御部は、前記外縁の表示色を、前記道路画像部分との境界部を濃く、前記道路画像部分から離れるに従って薄く表示することを特徴とする。
 この構成によれば、前記情報表示部に表示される前記道路形状をさらに判別し易くすることができ、特に、例えばS字カーブ等の複雑な道路形状に好適である。
 また、前記表示制御部は、前記運転支援が実行されていないときは前記外縁の表示色を第1色とし、前記車両のアクセルペダルに反力を付与する運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第2色とすることを特徴とする。
 この構成によれば、前記車両の運転者は、前記外縁の表示色が第1色から第2色へ切り替わったことを視認することによって、前記車両のアクセルペダルに反力を付与する運転支援が実行されていることを容易に認識することができる。
 また、前記表示制御部は、前記運転支援が実行されていないときは前記外縁の表示色を第1色とし、前記車両の操舵機構を作動させる運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第3色とすることを特徴とする。
 この構成によれば、前記車両の運転者は、前記外縁の表示色が第1色から第3色へ切り替わったことを視認することによって、前記車両の操舵機構を作動させる運転支援が実行されていることを容易に認識することができる。
 また、本発明の運転支援装置は、前記車両の周囲を撮画するカメラと、前記カメラによる撮像画像から前記車両の周囲状況を認識する周囲状況認識部とをさらに備え、前記情報表示部は、前記周囲状況認識部によって前記車両が障害物又は車線の区分線に接近したことが認識されたときに、前記道路画像部分の表示色を変更することを特徴とする。
 この構成によれば、前記情報表示部において、前記道路画像部分の表示色が変更されたことにより、前記車両が障害物又は車線の区分線に接近したことを報知することができる。
 また、本発明の運転支援装置は、前記車両の周囲を撮画するカメラと、前記カメラによる撮像画像から前記車両の周囲状況を認識する周囲状況認識部とをさらに備え、前記情報表示部は、前記周囲状況認識部によって前記車両が障害物に接近したことが認識されたときに、前記道路画像部分に前記障害物を示す画像部分を重畳させて表示することを特徴とする。
 この構成によれば、前記情報表示部において、障害物を示す画像部分が前記道路画像部分に重畳して表示されることにより、前記車両が障害物に接近したことを前記車両の運転者に直感的に認識させることができる。
 ところで、前記道路情報取得部によって道路情報を取得する取得源としては、車両に搭載されたカメラによる撮像画像や、車両に搭載されたナビゲーションシステムに備えられた地図情報を用いることができる。しかし、前記撮像画像から前記道路情報を取得する方法では、複雑な画像処理を必要とするので、取得に時間が掛かることが懸念される。
 そこで、前記道路情報取得部は、ナビゲーションシステムに備えられた地図情報から道路情報を取得することを特徴とする。
 前記構成によれば、前記撮像画像から取得する方法と比較して、前記道路情報を短時間で取得することができ、前記情報表示部による前記道路情報の表示に要する時間を短縮することができる。
 次に、本発明の運転支援方法は、
 車両が走行している道路について該道路の形状を含む道路情報を取得する道路情報取得部と、前記車両の運転者から視認可能な位置に情報を表示する情報表示部と、前記車両の運転者に対して運転支援を行う運転支援部とを備える運転支援装置により、前記車両の運転者に対して運転支援を行う運転支援方法であって、
 前記道路情報取得部によって前記道路情報を取得する道路情報取得工程と、
 前記運転支援部によって運転支援を行う運転支援工程と、
 前記道路情報取得部によって取得された前記車両の前方の道路情報を、道路の形状を示す道路画像部分と該道路画像部分の左右の外縁とを異なる色で前記情報表示部に表示し、前記運転支援が実行されていないときは前記外縁の表示色を第1色とし、前記車両のアクセルペダルに反力を付与する運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第2色とし、前記車両の操舵機構を作動させる運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第3色とする表示制御工程とを備えることを特徴とする。
 本発明の運転支援方法によれば、前記情報表示部における前記道路の左右外縁の表示(形状及び色)のみで、前記車両の前方の道路形状の変化及び前記運転支援の実行状況の両方を、前記車両の運転者に報知することができる。前記道路の左右外縁の表示色が第1色であるときは、前記運転支援が実行されておらず、前記表示色が第2色であるときは、前記車両のアクセルペダルに反力を付与する運転支援が実行されていて、前記表示色が第3色であるときは、前記車両の操舵機構を作動させる運転支援が実行されていることを、前記車両の運転者に報知することができる。
 また、本発明の運転支援方法において、前記運転支援装置は、前記車両の周囲を撮画するカメラをさらに備え、前記カメラによる撮像画像から前記車両の周囲状況を認識する周囲状況認識工程を含み、前記表示制御工程において、前記周囲状況認識工程によって前記車両が障害物に接近したことが認識されたときに、前記情報表示部に道路画像部分に前記障害物を示す画像部分を重畳させて表示することを特徴とする。
 前記構成によれば、前記情報表示部において、障害物を示す画像部分が前記道路画像部分に重畳して表示されることにより、前記車両が障害物に接近したことを前記車両の運転者に直感的に認識させることができる。
第1実施形態における運転支援装置の構成図。 第1実施形態の運転支援装置による処理のフローチャート。 道路上の車両の位置を示す説明図。 表示器による表示の説明図であり、図4Aは運転支援が実行されていない状況を示し、図4Bはアクセルペダルに反力を付与する運転支援が実行されている状況を示し、図4Cは操舵機構を作動させる運転支援が実行されている状況を示す。 表示器による表示の説明図であり、図5Aは車両が障害物又は車線の区分線に接近した状況を示し、図5Bは車両が障害物に接近した状況を示し、図5Cは車両が障害物に接近した状況を示す変形例であり、図5Dは道路外縁のグラデーション表示を示す。 第2実施形態における運転支援装置の構成図。 第2実施形態の運転支援装置による処理のフローチャート。 表示器による表示の説明図であり、図8Aは運転支援が実行されていない状況を示し、図8Bはアクセルペダルに反力を付与する運転支援が実行されている状況を示し、図8Cは操舵機構を作動させる運転支援が実行されている状況を示し、図8Dは道路外縁のグラデーション表示を示す。 表示器による表示の説明図であり、図9Aは車両が障害物又は車線の区分線に接近した状況を示し、図9Bは車両が障害物に接近した状況を示し、図9Cは車両が障害物に接近した状況を示す変形例である。
 [1.第1実施形態]
本発明の運転支援装置の第1実施形態について、図1~図5を参照して説明する。
 図1を参照して、第1実施形態の運転支援装置10aは、カメラ2、ナビゲーションシステム3、スピーカ4、表示器5(本発明の情報表示部に相当する)、反力付与機構6、操舵機構7及び制動機構8を備えた車両(本発明の車両に相当する)1に搭載されている。
 ナビゲーションシステム3は、地図情報9を備えている。
 表示器5は、車両1の運転者から認識可能な位置、例えば、メータパネル内のスピードメータとタコメータとの間に設けられている。
 運転支援装置10aは、図示しないCPU、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持された運転支援用のプログラムをCPUで実行することにより、画像処理部11、道路情報取得部12、運転技量判定部13、表示制御部14、運転支援部15、距離算出部16として機能する。
 画像処理部11は、カメラ2から出力される車両1の前方の映像信号からカラーの撮像画像31を取得し、画像メモリ30に保持する。また、画像処理部11は、撮像画像31の各画素のカラー成分を輝度に変換してグレースケール画像(多値画像)を生成した後に、グレースケール画像からエッジ点を抽出してエッジ画像32を生成し、画像メモリ30に保持する。
 また、画像処理部11は、エッジ画像32から、車線の左側を区画する左レーンマーク、車線の右側を区画する右レーンマークの画像部分を認識したり、歩行者、自転車等の障害物の画像部分を認識する。
 運転技量判定部13は、過去の運転支援の実行履歴に基づいて、車両1の運転者の運転技量を判定する。
 運転支援部15は、車両1のカーブへの進入速度が速すぎたり、車両1がレーンマークに接近したり、車両1周辺に回避すべき障害物が存在する場合等に、反力付与機構6、操舵機構7、制動機構8を作動する。運転支援部15は、反力付与機構6によって、アクセルペダルに反力(運転者によるアクセルペダルへの踏力を抑制する力)を付与する。
 運転支援部15は、操舵機構7によって、運転者によるハンドル操作をアシストするように操舵力を生じさせる。運転支援部15は、制動機構8によって、車両1の姿勢を安定させるようにいずれかのタイヤを制動したり、車両1を減速させるようにタイヤを制動する。
 以下、図2に示したフローチャートに従って、運転支援装置10aによって、車両1前方の道路形状の変化及び運転支援部15の実行状況を表示器5に表示する処理について説明する。本実施形態では、車両1が図3に示す道路をA地点からE地点へ向かって走行する場合について説明する。
 運転支援装置10aは、所定の制御周期毎に図2に示したフローチャートによる処理を実行する。
 STEP1は、道路情報取得部12による処理である。道路情報取得部12は、ナビゲーションシステム3の地図情報9から、車両1前方の道路について道路形状を含む道路情報を取得する。
 STEP2は、距離算出部16による処理である。距離算出部16は、道路情報取得部12によって取得された道路情報から、車両1から車両前方のカーブ地点までの距離を算出し、STEP3に進む。
 STEP3~STEP16は、表示制御部14による処理である。表示制御部14は、STEP3では、距離算出部16によって算出されたカーブ地点までの距離が、第1設定距離を超えているか否かを判定し、第1設定距離を超える場合にはSTEP4に進み、第1設定距離以内である場合にはSTEP5に進む。
 ここで、車両1から車両前方のカーブ地点までの距離が第1設定距離を超えている場合とは、車両1から第1設定距離以内が直線道路であって第1設定距離以内にカーブが存在しない場合であり、例えば、図3において車両1がA地点又はE地点に位置する場合である。
 表示制御部14は、STEP4では、表示器5によって表示される道路の形状を示す道路画像部分Rの左右の外縁(以下、道路外縁という)EL,ERの表示色を青色に設定し(図4A)、STEP8に進む。道路画像部分Rは、STEP5で取得された道路形状に基づいて表示器5に表示され、その表示色は黒色である。
 表示制御部14は、STEP5では、距離算出部16によって算出されたカーブ地点までの距離が、第2設定距離(ただし、第2設定距離<第1設定距離である)を超えているか否かを判定し、第2設定距離を超える場合にはSTEP6に進み、第2設定距離以内である場合にはSTEP7に進む。
 ここで、車両1から車両前方のカーブ地点までの距離が第2設定距離を超えている場合とは、車両1から第2設定距離よりも遠く且つ第1設定距離以内にカーブが存在する場合であり、図3において車両1がB地点に位置する場合である。また、車両1から車両前方のカーブ地点までの距離が第2設定距離以内である場合とは、車両1から第2設定距離以内にカーブが存在する場合であり、図3において車両1がC地点又はD地点に位置する場合である。
 表示制御部14は、STEP6では、道路外縁EL,ERの表示色を黄色に設定し(図4B)、STEP8に進む。
 表示制御部14は、STEP7では、道路外縁EL,ERの表示色を橙色に設定し(図4C)、STEP8に進む。
 表示制御部14は、STEP8~15では、表示器5において道路画像部分R上に重畳して表示される車両状態表示部Cの表示色を設定する。車両状態表示部Cは、図4Aに示すように、車両1のペダルを示すペダル画像部分Pと、車両1のハンドルを示すハンドル画像部分Hと、車両1のタイヤを示すタイヤ画像部分Tと、車両1のブレーキランプを示すブレーキランプ画像部分Bとを備え、通常はいずれも灰色で表示される。
 表示制御部14は、STEP8では、反力付与機構6によってアクセルペダルに反力を付与する運転支援が実行されているか否かを判定し、この運転支援が実行されている場合にはSTEP9に進み、この運転支援が実行されていない場合にはSTEP10に進む。
 表示制御部14は、STEP9では、車両状態表示部Cにペダル画像部分Pを黄色で表示するように設定し(図4B)、STEP10に進む。
 表示制御部14は、STEP10では、操舵機構7によって運転者によるハンドル操作をアシストするように操舵力を生じさせる運転支援が実行されているか否かを判定する。そして、この運転支援が実行されている場合にはSTEP11に進み、この運転支援が実行されていない場合にはSTEP12に進む。
 表示制御部14は、STEP11では、車両状態表示部Cにハンドル画像部分Hを緑色で表示するとともに、ハンドル画像部分Hの向きを車両1が操作されている方向に対応して表示するように設定し(図5A)、STEP12に進む。
 表示制御部14は、STEP12では、制動機構8によって車両1の姿勢を安定させるようにいずれかのタイヤを制動する運転支援が実行されているか否かを判定する。そして、この運転支援が実行されている場合にはSTEP13に進み、この運転支援が実行されていない場合にはSTEP14に進む。
 表示制御部14は、STEP13では、車両1の制動されている箇所のタイヤに対応して、車両状態表示部Cのタイヤ画像部分Tを橙色で表示するように設定し(図5B)、STEP14に進む。
 表示制御部14は、STEP14では、制動機構8によって車両1を減速させるようにタイヤを制動する運転支援が実行されているか否かを判定する。そして、この運転支援が実行されている場合にはSTEP15に進み、この運転支援が実行されていない場合にはSTEP16に進む。
 表示制御部14は、STEP15では、車両状態表示部Cのブレーキランプ画像部分Bを赤色で表示するように設定し(図5C)、STEP16に進む。
 表示制御部14は、STEP16では、STEP1で取得された道路形状に基づいて道路画像部分Rを表示器5に表示するとともに、STEP4、STEP6及びSTEP7での設定に基づいて道路外縁EL,ERを着色表示する。
 さらに、表示制御部14は、道路画像部分R上に車両状態表示部Cを重畳して表示し、STEP9、STEP11、STEP13及びSTEP15での設定に基づいて、ペダル画像部分P、ハンドル画像部分H、タイヤ画像部分T及びブレーキランプ画像部分Bを着色表示する。
 図4Aは、STEP3で車両1からカーブまでの距離が第1設定距離を超えていると判定され、STEP8、STEP10、STEP12及びSTEP14でいずれの運転支援も実行されていないと判定されたときの表示器5の表示状態を示している。
 図4Aでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる青色で表示され、車両状態表示部Cのペダル画像部分P、ハンドル画像部分H、タイヤ画像部分T及びブレーキランプ画像部分Bがいずれも灰色で表示されている。
 図4Bは、STEP5で車両1からカーブまでの距離が第1設定距離以内且つ第2設定距離を超えていると判定され、STEP8、STEP10、STEP12及びSTEP14で反力付与機構6によってアクセルペダルに反力を付与する運転支援のみが実行されていると判定されたときの表示器5の表示状態を示している。
 図4Bでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる黄色で表示され、車両状態表示部Cのハンドル画像部分H、タイヤ画像部分T及びブレーキランプ画像部分Bがいずれも灰色で表示され、ペダル画像部分Pが黄色で表示されている。
 図4Cは、STEP5で車両1からカーブまでの距離が第2設定距離以内であると判定され、STEP8、STEP10、STEP12及びSTEP14でいずれの運転支援も実行されていないと判定されたときの表示器5の表示状態を示している。
 図4Cでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる橙色で表示され、車両状態表示部Cのペダル画像部分P、ハンドル画像部分H、タイヤ画像部分T及びブレーキランプ画像部分Bがいずれも灰色で表示されている。
 図5Aは、STEP5で車両1からカーブまでの距離が第2設定距離以内であると判定され、STEP8、STEP10、STEP12及びSTEP14で操舵機構7によって運転者によるハンドル操作をアシストするように操舵力を生じさせる運転支援のみが実行されていると判定されたときの表示器5の表示状態を示している。
 図5Aでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる橙色で表示され、車両状態表示部Cのペダル画像部分P、タイヤ画像部分T及びブレーキランプ画像部分Bが灰色で表示され、ハンドル画像部分Hが緑色で表示されている。ハンドル画像部分Hの向きは車両1が操作されている方向に対応している。
 図5Bは、STEP5で車両1からカーブまでの距離が第2設定距離以内であると判定され、STEP8、STEP10、STEP12及びSTEP14で制動機構8によって車両1の姿勢を安定させるようにいずれかのタイヤを制動する運転支援のみが実行されていると判定されたときの表示器5の表示状態を示している。
 図5Bでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる橙色で表示され、車両状態表示部Cのペダル画像部分P、ハンドル画像部分H及びブレーキランプ画像部分Bが灰色で表示され、制動されている箇所のタイヤに対応するタイヤ画像部分Tが橙色で表示されている。
 図5Cは、STEP5で車両1からカーブまでの距離が第2設定距離以内であると判定され、STEP8、STEP10、STEP12及びSTEP14で、操舵機構7によって運転者によるハンドル操作をアシストするように操舵力を生じさせる運転支援、車両1の姿勢を安定させるようにいずれかのタイヤを制動する運転支援、及び車両1を減速させるようにタイヤを制動する運転支援の3つが実行されていると判定されたときの表示器5の表示状態を示している。
 図5Cでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる橙色で表示され、車両状態表示部Cのペダル画像部分Pが灰色で表示され、ハンドル画像部分Hが緑色で表示され、制動されている箇所のタイヤに対応するタイヤ画像部分Tが橙色で表示され、ブレーキランプ画像部分Bが赤色で表示されている。
 従って、運転支援装置10aによれば、表示器5による道路外縁EL,ERの表示(形状及び色)と、車両状態表示部Cの表示のみによって、車両1の前方の道路形状の変化及び運転支援の実行状況の両方を、車両1の運転者に報知することができる。
 これにより、前記運転者は、複数の情報表示部の視認や文字の認識をすることなく、表示器5における道路外縁EL,ER及び車両状態表示部Cを視認するだけで、車両1の前方の道路形状の変化及び運転支援の実行状況の両方を容易に把握することができる。
 道路外縁EL,ERは、図4A~図4C及び図5A~図5Cでは、単一の色でべた塗りした所定幅を有する線で表示されている。ただし、図5Dに示すように、道路画像部分Rとの境界部を濃く、道路画像部分Rから離れるに従って薄く表示(グラデーション表示)されていてもよい。前記グラデーション表示によって、表示器5に表示される道路形状の変化をさらに判別し易くすることができ、特に、例えばS字カーブ等の複雑な道路形状に好適である。
 第1実施形態の運転支援装置10aでは、ナビゲーションシステム3の地図情報9から道路情報を短時間で取得することができ、表示器5による前記道路情報の表示に要する時間を短縮することができる。この方法に代えて、カメラ2による撮像画像から道路情報を取得するようにしてもよい。
 また、第1実施形態の運転支援装置10aは、運転技量判定部13によって、車両1の運転者の運転技量を判定し、判定した運転技量に応じて表示器5による情報表示のタイミングを変更するようにしてもよい。例えば、運転技量に劣る運転者であると判定した場合は、運転技量に優れる運転者と比較して、表示器5による情報表示のタイミングを早くすることにより、道路情報の変化及び運転支援の実行状況を早めに報知することができる。
 [2.第2実施形態]
 次に、本発明の運転支援装置の第2実施形態について、図6~図9を参照して説明する。
 図6を参照して、第2実施形態の運転支援装置10bは、上述した第1実施形態の運転支援装置10aと同様に、カメラ2、ナビゲーションシステム3、スピーカ4、表示器5(本発明の情報表示部に相当する)、反力付与機構6、操舵機構7及び制動機構8を備えた車両(本発明の車両に相当する)1に搭載されている。
 運転支援装置10bは、図示しないCPU、メモリ、各種インターフェース回路等により構成された電子ユニットであり、メモリに保持された運転支援用のプログラムをCPUで実行することにより、撮像画像取得部20、エッジ画像生成部21、道路情報取得部12、運転技量判定部13、表示制御部14、レーンマーク認識部22、障害物認識部23及び運転支援部15として機能する。
 レーンマーク認識部22及び障害物認識部23は、本発明の周囲状況認識部に相当する。また、第1実施形態の運転支援装置10aと同様の構成については、同一の符号を付して説明を省略する。
 以下、図7に示したフローチャートに従って、運転支援装置10bによって、車両1前方の道路形状の変化及び運転支援部15の実行状況を表示器5に表示する処理について説明する。
 運転支援装置10bは、所定の制御周期毎に図7に示したフローチャートによる処理を実行する。
 図7のSTEP51は、撮像画像取得部20による処理である。撮像画像取得部20は、カメラ2から出力される車両1の前方の映像信号を入力して、この映像信号のカラー成分(R値,G値,B値)をデモザイキングし、各画素のデータとしてR値,G値,B値を有するカラーの撮像画像31を取得する。取得された撮像画像31のデータは画像メモリ30に保持される。
 STEP52は、エッジ画像生成部21による処理である。エッジ画像生成部21は、撮像画像31の各画素のカラー成分を輝度に変換する処理を行って、グレースケール画像(多値画像)を生成する。そして、エッジ画像生成部21は、グレースケール画像からエッジ点(周囲部の画素(画像部分)との輝度差(輝度の変化量)が所定値以上である画素。輝度が暗から明に変化する正のエッジ点、及び輝度が明から暗に変化する負のエッジ点を含む)を抽出して、エッジ画像32を生成する。エッジ画像32は画像メモリ30に保持される。
 なお、カメラ2がモノクロカメラであるときには、各画素の輝度からグレースケールの撮像画像が得られるので、上述したカラーの撮像画像からグレースケール画像を生成する処理は不要である。
 STEP53は、レーンマーク認識部22による処理(レーンマーク認識処理)である。レーンマーク認識部22は、エッジ画像生成部21によって生成されたエッジ画像32から、車線の左側を区画する左レーンマーク、車線の右側を区画する右レーンマークの画像部分を認識する。
 STEP54は、障害物認識部23による処理(障害物認識処理)である。障害物認識部23は、エッジ画像生成部21によって生成されたエッジ画像32から、歩行者、自転車等の障害物の画像部分を認識する。
 STEP55は、道路情報取得部12による処理である。道路情報取得部12は、ナビゲーションシステム3の地図情報9から、車両1前方の道路について道路形状を含む道路情報を取得する。
 STEP56~STEP63は、表示制御部14による処理である。表示制御部14は、STEP56で運転支援部15による運転支援が実行されているかを判定する。そして、運転支援が全く実行されていない場合にはSTEP57に進み、運転支援が実行されている場合はSTEP58に進む。
 表示制御部14は、STEP57では、表示器5によって表示される道路の形状を示す道路画像部分Rの左右の外縁(以下、道路外縁という)EL,ERの表示色を、道路画像部分Rとは異なる青色(本発明の第1色に相当)に設定し(図8A)、STEP59に進む。道路画像部分Rは、STEP55で取得された道路形状に基づいて表示器5に表示され、その表示色は黒色である(ただし、後述するように、車両1からレーンマークまでの距離が所定距離未満である場合は除く)。
 表示制御部14は、STEP58では、運転支援部15による運転支援の実行状況に応じて、道路外縁EL,ERの表示色を設定し、STEP59に進む。反力付与機構6によってアクセルペダルに反力を付与する運転支援が実行されている場合には、表示制御部14は、道路外縁EL,ERの表示色を黄色(本発明の第2色に相当)に設定する(図8B)。
 操舵機構7によって運転者によるハンドル操作をアシストするように操舵力を生じさせる運転支援が実行されている場合には、表示制御部14は、道路外縁EL,ERの表示色を橙色(本発明の第3色に相当)に設定する(図8C)。
 表示制御部14は、STEP59では、レーンマーク認識部22によって認識されたレーンマークの画像部分に基づいて、車両1からレーンマークまでの距離が所定距離未満であるか否かを判定する。前記距離が所定距離未満であって車両1がレーンマークに接近している場合にはSTEP60に進み、前記距離が所定距離以上であって車両1がレーンマークに接近していない場合にはSTEP61に進む。
 表示制御部14は、STEP60では、表示器5によって表示する道路画像部分R、すなわち、道路外縁EL,ERで挟まれた部分の表示色を赤色に設定し(図9A参照)、STEP61に進む。
 表示制御部14は、STEP61では、障害物認識部23によって取得された障害物の画像部分に基づいて、回避すべき障害物が存在するか否かを判定する。車両1から障害物までの距離、障害物の向き等によって回避すべき障害物が存在する場合にはSTEP62に進み、回避すべき障害物が存在しない場合にはSTEP63に進む。
 表示制御部14は、STEP62では、表示器5において道路画像部分Rに障害物を示す画像部分Wを重畳させて表示するように設定し(図9B参照)、STEP63に進む。
 表示制御部14は、STEP63では、STEP55で取得された道路形状及びSTEP60での設定に基づいて道路画像部分Rを表示器5に表示するとともに、STEP57、STEP58及びSTEP62での設定に基づいて、道路外縁EL,ER及び障害物を示す画像部分Wを表示する。
 図8Aは、STEP56で運転支援が実行されていないと判定され、STEP59で車両1がレーンマークに接近していないと判定され、STEP61で回避すべき障害物が存在しないと判定されたときの表示器5の表示状態を示している。図8Aでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる青色で表示されている。
 図8Bは、STEP58で車両1のアクセルペダルに反力を付与する運転支援が実行されていると判定され、STEP59で車両1がレーンマークに接近していないと判定され、STEP61で回避すべき障害物が存在しないと判定されたときの表示器5の表示状態を示している。図8Bでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる黄色で表示されている。
 図8Cは、STEP58で車両1のハンドルを操舵する運転支援が実行されていると判定され、STEP59で車両1がレーンマークに接近していないと判定され、STEP61で回避すべき障害物が存在しないと判定されたときの表示器5の表示状態を示している。図8Cでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる橙色で表示されている。
 従って、運転支援装置10bによれば、表示器5による道路外縁EL,ERの表示(形状及び色)のみで、車両1の前方の道路形状の変化及び運転支援の実行状況の両方を、車両1の運転者に報知することができる。これにより、前記運転者は、複数の情報表示部の視認や文字の認識をすることなく、表示器5における道路外縁EL,ERを視認するだけで、車両1の前方の道路形状の変化及び運転支援の実行状況の両方を容易に把握することができる。
 道路外縁EL,ERは、図8A~図8Cでは、単一の色でべた塗りした所定幅を有する線で表示されているが、図8Dに示すように、道路画像部分Rとの境界部を濃く、道路画像部分Rから離れるに従って薄く表示(グラデーション表示)されていてもよい。前記グラデーション表示によって、表示器5に表示される道路形状の変化をさらに判別し易くすることができ、特に、例えばS字カーブ等の複雑な道路形状に好適である。
 また、図9Aは、STEP58で車両1のアクセルペダルに反力を付与する運転支援が実行されていると判定され、STEP59で車両1がレーンマークに接近していると判定され、STEP61で回避すべき障害物が存在しないと判定されたときの表示器5の表示状態を示している。図9Aでは、道路画像部分Rが赤色で表示され、道路外縁EL,ERが道路画像部分Rとは異なる黄色で表示されている。
 図9Bは、STEP58で車両1のアクセルペダルに反力を付与する運転支援が実行されていると判定され、STEP59で車両1がレーンマークに接近していないと判定され、STEP62で回避すべき障害物が存在すると判定されたときの表示器5の表示状態を示している。
 図9Bでは、道路画像部分Rが黒色で表示され、道路外縁EL,ERが黄色で表示され、道路画像部分Rに障害物を示す画像部分Wが重畳して表示されている。障害物を示す画像部分Wとしては、撮像画像31の中の障害物の画像部分を抽出したものでもよく、障害物を示すアイコンのようなものでもよい。
 従って、運転支援装置10bによれば、車両1の前方の道路形状の変化及び運転支援の実行状況に加えて、車両1がレーンマークに接近しているか否か、回避すべき対象物が存在するか否かの車両1の周囲の状況を、車両1の運転者に報知することができる。
 また、STEP61で回避すべき障害物が存在すると判定されたときには、図9Cに示すように、道路画像部分Rが赤色で表示されるとともに、道路画像部分Rに障害物を示す画像部分Wが重畳して表示されるようにしてもよい。
 第2実施形態の運転支援装置10bでは、ナビゲーションシステム3の地図情報9から道路情報を短時間で取得することができ、表示器5による前記道路情報の表示に要する時間を短縮することができる。この方法に代えて、カメラ2による撮像画像31から道路情報を取得するようにしてもよい。
 また、第2実施形態の運転支援装置10bは、運転技量判定部13によって、車両1の運転者の運転技量を判定し、判定した運転技量に応じて表示器5による情報表示のタイミングを変更するようにしてもよい。例えば、運転技量に劣る運転者であると判定した場合は、運転技量に優れる運転者と比較して、表示器5による情報表示のタイミングを早くすることにより、道路情報の変化及び運転支援の実行状況を早めに報知することができる。
 1…車両(自車両)、5…表示器(情報表示部)、7…操舵機構、9…地図情報、10…運転支援装置、12…道路情報取得部、13…運転技量判定部、14…表示制御部、15…運転支援部、20…撮像画像取得部、21…エッジ画像生成部、22…レーンマーク認識部(周囲状況認識部)、23…障害物認識部(周囲状況認識部)、B…ブレーキランプを表す画像部分、C…車両状態表示部、EL,ER…道路外縁、H…ハンドルを表す画像部分、P…ペダルを表す画像部分、R…道路画像部分、T…タイヤを表す画像部分、W…障害物を示す画像部分。

Claims (18)

  1.  車両が走行している道路について該道路の形状を含む道路情報を取得する道路情報取得部と、
     前記車両の運転者から視認可能な位置に情報を表示する情報表示部と、
     前記車両の運転者に対して運転支援を行う運転支援部と、
     前記道路情報取得部によって取得された前記車両の前方の道路情報を、道路の形状を示す道路画像部分と該道路画像部分の左右の外縁とを異なる色で前記情報表示部に表示すると共に、前記運転支援部による運転支援の実行状態を、前記運転支援部による運転支援の実行に応じて前記外縁の表示色を変化させるか、又は、前記運転支援部による運転支援の実行状態を示す車両状態表示部を前記情報表示部に表示することによって報知する表示制御部と
    を備えることを特徴とする運転支援装置。
  2.  請求項1記載の運転支援装置において、
     前記表示制御部は、前記車両状態表示部を前記道路画像部分上に重畳させて表示することを特徴とする運転支援装置。
  3.  請求項1又は請求項2記載の運転支援装置において、
     前記表示制御部は、前記運転支援部によって前記車両の操舵機構を作動させる運転支援が実行されているときに、前記車両状態表示部にハンドルを表す画像部分を表示することを特徴とする運転支援装置。
  4.  請求項1~請求項3のいずれか1項記載の運転支援装置において、
     前記表示制御部は、前記運転支援部によって前記車両のアクセルペダルに反力を付与する運転支援が実行されているときに、前記車両状態表示部にペダルを表す画像部分を表示することを特徴とする運転支援装置。
  5.  請求項1~請求項4のいずれか1項記載の運転支援装置において、
     前記表示制御部は、前記運転支援部によって前記車両の姿勢を安定させるための運転支援が実行されているときに、前記車両状態表示部にタイヤを表す画像部分を表示することを特徴とする運転支援装置。
  6.  請求項1~請求項5のいずれか1項記載の運転支援装置において、
     前記表示制御部は、前記運転支援部によって前記車両を減速させるための運転支援が実行されているときに、前記車両状態表示部にブレーキランプを表す画像部分を表示することを特徴とする運転支援装置。
  7.  請求項1~請求項6のいずれか1項記載の運転支援装置において、
     前記車両の運転者の運転技量を判定する運転技量判定部をさらに備え、
     前記表示制御部は、前記運転技量判定部によって判定された運転技量に応じて、前記外縁の表示色及び前記車両状態表示部の表示を変化させるタイミングを変更することを特徴とする運転支援装置。
  8.  請求項1~請求項7のいずれか1項記載の運転支援装置において、
     前記表示制御部は、前記道路情報取得部によって取得された道路情報から前記車両の前方にカーブを検出したときに、前記車両から前記カーブまでの距離に応じて前記外縁の表示色を変更することを特徴とする運転支援装置。
  9.  請求項1~請求項8のいずれか1項記載の運転支援装置において、
     前記表示制御部は、前記外縁の表示色を、前記道路画像部分との境界部を濃く、前記道路画像部分から離れるに従って薄く表示することを特徴とする運転支援装置。
  10.  請求項1記載の運転支援装置において、
     前記表示制御部は、前記運転支援が実行されていないときは前記外縁の表示色を第1色とし、前記車両のアクセルペダルに反力を付与する運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第2色とすることを特徴とする運転支援装置。
  11.  請求項1又は請求項10記載の運転支援装置において、
     前記表示制御部は、前記運転支援が実行されていないときは前記外縁の表示色を第1色とし、前記車両の操舵機構を作動させる運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第3色とすることを特徴とする運転支援装置。
  12.  請求項10又は請求項11記載の運転支援装置において、
     前記車両の運転者の運転技量を判定する運転技量判定部をさらに備え、
     前記表示制御部は、前記運転技量判定部によって判定された運転技量に応じて、前記外縁の表示色を変化させるタイミングを変更することを特徴とする運転支援装置。
  13.  請求項10~請求項12のうちのいずれか1項記載の運転支援装置において、
     前記表示制御部は、前記外縁の表示色を、前記道路画像部分との境界部を濃く、前記道路画像部分から離れるに従って薄く表示することを特徴とする運転支援装置。
  14.  請求項1~請求項13のうちのいずれか1項記載の運転支援装置において、
     前記車両の周囲を撮画するカメラと、
     前記カメラによる撮像画像から前記車両の周囲状況を認識する周囲状況認識部とをさらに備え、
     前記情報表示部は、前記周囲状況認識部によって前記車両が障害物又は車線の区分線に接近したことが認識されたときに、前記道路画像部分の表示色を変更することを特徴とする運転支援装置。
  15.  請求項1~請求項13のうちのいずれか1項記載の運転支援装置において、
     前記車両の周囲を撮画するカメラと、
     前記カメラによる撮像画像から前記車両の周囲状況を認識する周囲状況認識部とをさらに備え、
     前記情報表示部は、前記周囲状況認識部によって前記車両が障害物に接近したことが認識されたときに、前記道路画像部分に前記障害物を示す画像部分を重畳させて表示することを特徴とする運転支援装置。
  16.  請求項1~請求項15のうちのいずれか1項記載の運転支援装置において、
     前記道路情報取得部は、ナビゲーションシステムに備えられた地図情報から道路情報を取得することを特徴とする運転支援装置。
  17.  車両が走行している道路について該道路の形状を含む道路情報を取得する道路情報取得部と、前記車両の運転者から視認可能な位置に情報を表示する情報表示部と、前記車両の運転者に対して運転支援を行う運転支援部とを備える運転支援装置により、前記車両の運転者に対して運転支援を行う運転支援方法であって、
     前記道路情報取得部によって前記道路情報を取得する道路情報取得工程と、
     前記運転支援部によって運転支援を行う運転支援工程と、
     前記道路情報取得部によって取得された前記車両の前方の道路情報を、道路の形状を示す道路画像部分と該道路画像部分の左右の外縁とを異なる色で前記情報表示部に表示し、前記運転支援が実行されていないときは前記外縁の表示色を第1色とし、前記車両のアクセルペダルに反力を付与する運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第2色とし、前記車両の操舵機構を作動させる運転支援が実行されているときは前記外縁の表示色を前記第1色とは異なる第3色とする表示制御工程とを備えることを特徴とする運転支援方法。
  18.  請求項17記載の運転支援方法において、
     前記運転支援装置は、前記車両の周囲を撮画するカメラをさらに備え、
     前記カメラによる撮像画像から前記車両の周囲状況を認識する周囲状況認識工程を含み、
     前記表示制御工程において、前記周囲状況認識工程によって前記車両が障害物に接近したことが認識されたときに、前記情報表示部に前記道路画像部分に前記障害物を示す画像部分を重畳させて表示することを特徴とする運転支援方法。
PCT/JP2015/064609 2014-08-27 2015-05-21 運転支援装置及び運転支援方法 WO2016031320A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/505,849 US20170253182A1 (en) 2014-08-27 2015-05-21 Drive assistance device and drive assistance method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-172381 2014-08-27
JP2014172382 2014-08-27
JP2014-172382 2014-08-27
JP2014172381 2014-08-27

Publications (1)

Publication Number Publication Date
WO2016031320A1 true WO2016031320A1 (ja) 2016-03-03

Family

ID=55399225

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/064609 WO2016031320A1 (ja) 2014-08-27 2015-05-21 運転支援装置及び運転支援方法

Country Status (2)

Country Link
US (1) US20170253182A1 (ja)
WO (1) WO2016031320A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6773215B2 (ja) * 2017-04-14 2020-10-21 日産自動車株式会社 車両制御方法及び車両制御装置
US10633024B2 (en) * 2017-12-27 2020-04-28 Automotive Research & Testing Center Vehicle lateral control system having lane model with modulation weighting and control method thereof
DE102019202581B4 (de) * 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202578A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202588A1 (de) 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
US11697346B1 (en) * 2022-03-29 2023-07-11 GM Global Technology Operations LLC Lane position in augmented reality head-up display system
US11854400B2 (en) * 2022-05-03 2023-12-26 Here Global B.V. Apparatus and methods for predicting events in which drivers fail to see curbs

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101593A (ja) * 1999-09-29 2001-04-13 Mazda Motor Corp 車両の表示装置
JP2002154393A (ja) * 2000-11-22 2002-05-28 Mazda Motor Corp 車両の故障表示装置
JP2005145434A (ja) * 2003-10-21 2005-06-09 Nippon Seiki Co Ltd 車両用表示装置
JP2007323598A (ja) * 2006-06-05 2007-12-13 Denso Corp 車両用運転支援システム
JP2008049918A (ja) * 2006-08-25 2008-03-06 Toyota Motor Corp 車両用制御装置、及び、車両用表示装置
JP2010055587A (ja) * 2008-02-08 2010-03-11 Toyota Motor Corp 運転支援システム、運転支援装置、標識部、車両用安全制御装置、安全制御システム、及び交通安全制御システム
JP2010128669A (ja) * 2008-11-26 2010-06-10 Toyota Central R&D Labs Inc 運転支援装置及びプログラム
JP2010247656A (ja) * 2009-04-15 2010-11-04 Toyota Motor Corp 運転支援システムおよび運転支援方法
JP2010539586A (ja) * 2007-09-17 2010-12-16 ボルボ テクノロジー コーポレイション 自動車パラメータの偏差を伝える方法
JP2013237290A (ja) * 2012-05-11 2013-11-28 Toyota Motor Corp 表示制御装置、車両制御装置および車両
WO2014108987A1 (ja) * 2013-01-11 2014-07-17 日産自動車株式会社 車両用表示制御装置及び車両用表示制御方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001101593A (ja) * 1999-09-29 2001-04-13 Mazda Motor Corp 車両の表示装置
JP2002154393A (ja) * 2000-11-22 2002-05-28 Mazda Motor Corp 車両の故障表示装置
JP2005145434A (ja) * 2003-10-21 2005-06-09 Nippon Seiki Co Ltd 車両用表示装置
JP2007323598A (ja) * 2006-06-05 2007-12-13 Denso Corp 車両用運転支援システム
JP2008049918A (ja) * 2006-08-25 2008-03-06 Toyota Motor Corp 車両用制御装置、及び、車両用表示装置
JP2010539586A (ja) * 2007-09-17 2010-12-16 ボルボ テクノロジー コーポレイション 自動車パラメータの偏差を伝える方法
JP2010055587A (ja) * 2008-02-08 2010-03-11 Toyota Motor Corp 運転支援システム、運転支援装置、標識部、車両用安全制御装置、安全制御システム、及び交通安全制御システム
JP2010128669A (ja) * 2008-11-26 2010-06-10 Toyota Central R&D Labs Inc 運転支援装置及びプログラム
JP2010247656A (ja) * 2009-04-15 2010-11-04 Toyota Motor Corp 運転支援システムおよび運転支援方法
JP2013237290A (ja) * 2012-05-11 2013-11-28 Toyota Motor Corp 表示制御装置、車両制御装置および車両
WO2014108987A1 (ja) * 2013-01-11 2014-07-17 日産自動車株式会社 車両用表示制御装置及び車両用表示制御方法

Also Published As

Publication number Publication date
US20170253182A1 (en) 2017-09-07

Similar Documents

Publication Publication Date Title
WO2016031320A1 (ja) 運転支援装置及び運転支援方法
US11325471B2 (en) Method for displaying the course of a safety zone in front of a transportation vehicle or an object by a display unit, device for carrying out the method, and transportation vehicle and computer program
JP6939774B2 (ja) 運転支援システムおよび表示装置
US8896687B2 (en) Lane departure prevention support apparatus, method of displaying a lane boundary line and program
JP5905088B2 (ja) 車両の走行状態を表示するための方法および表示装置、およびこれに対応するコンピュータプログラム製品
JP5483535B2 (ja) 車両周辺認知支援装置
JP2004535971A (ja) ヘッドアップディスプレイシステム及び方法
JP6307895B2 (ja) 車両用周辺監視装置
US9845092B2 (en) Method and system for displaying probability of a collision
US20150187214A1 (en) Drive assist device
US11762616B2 (en) Method for operating a driver information system in an ego-vehicle and driver information system
US20170154224A1 (en) Image-recognition device and method for controlling same
WO2016002006A1 (ja) 車両用表示装置及び車両用表示方法
JP2015515406A (ja) 車両の自立的な縦方向帰還制御、及び/或いは、横方向帰還制御を実施するためのドライバー・アシスタント・システム用の方法
WO2018008061A1 (ja) 表示制御方法および表示制御装置
US11904688B2 (en) Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
US11584373B2 (en) Method, device and means of transport for an automated starting up of a means of transport at a light signal system
EP2769883A1 (en) Vehicle driving support device
US20210323540A1 (en) Vehicle driving and monitoring system, vehicle including the vehicle driving and monitoring system, method for maintaining a situational awareness at a sufficient level, and computer readable medium for implementing the method
CN109690647B (zh) 用于提供车辆环境信息的装置
CN110446645B (zh) 车辆控制装置
JP2019199135A (ja) 車両用表示制御装置
WO2015004784A1 (ja) 車両用情報表示装置及び車両用情報表示方法
US20160093215A1 (en) Alert systems and methods using a transparent display
JP2015009777A (ja) クルーズコントロール装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15834955

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15505849

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15834955

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP