WO2019098216A1 - 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム - Google Patents

車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム Download PDF

Info

Publication number
WO2019098216A1
WO2019098216A1 PCT/JP2018/042079 JP2018042079W WO2019098216A1 WO 2019098216 A1 WO2019098216 A1 WO 2019098216A1 JP 2018042079 W JP2018042079 W JP 2018042079W WO 2019098216 A1 WO2019098216 A1 WO 2019098216A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
obstacle
driving assistance
vehicle
vehicle driving
Prior art date
Application number
PCT/JP2018/042079
Other languages
English (en)
French (fr)
Inventor
坂井孝光
東淵亮介
Original Assignee
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン・エィ・ダブリュ株式会社 filed Critical アイシン・エィ・ダブリュ株式会社
Priority to DE112018004377.0T priority Critical patent/DE112018004377T5/de
Priority to CN201880067467.4A priority patent/CN111226269A/zh
Priority to US16/649,524 priority patent/US20200307617A1/en
Priority to JP2019554241A priority patent/JPWO2019098216A1/ja
Publication of WO2019098216A1 publication Critical patent/WO2019098216A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4041—Position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4042—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4044—Direction of movement, e.g. backwards
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/40—Dynamic objects, e.g. animals, windblown objects
    • B60W2554/404—Characteristics
    • B60W2554/4049—Relationship among other objects, e.g. converging dynamic objects

Definitions

  • the present invention relates to a vehicle driving assistance technology that assists a driver in driving a vehicle.
  • Japanese Patent Application Laid-Open No. 2005-56372 discloses a vehicle control device that calculates a traveling route for causing a vehicle to travel while avoiding an obstacle existing around the vehicle (claim 1, FIG. 33, etc.). .
  • This travel route is set to avoid the danger area set on the map.
  • the dangerous area is set based on the position, moving direction, and moving speed of an object such as a vehicle, a bicycle, or a pedestrian. For example, the driver can perform a driving operation considering other vehicles, bicycles, pedestrians and the like by referring to the travel route set so as to avoid the danger area or the danger area.
  • the danger area is set without considering the mutual relationship between objects such as vehicles, bicycles, pedestrians and the like.
  • the moving direction of the object or the moving speed may change depending on the relationship with other objects, such as the bicycle overtaking a pedestrian or the vehicle overtaking the bicycle. Therefore, obstacles such as other vehicles, bicycles, pedestrians, etc. existing around the host vehicle can be avoided simply by simply setting the danger area based on the position, movement direction and movement speed of each object. There is room for improvement in reporting information to
  • the characteristic configuration of the vehicle driving assistance system in view of the above is It has a display unit that displays a warning image superimposed on the actual landscape,
  • the caution image is an image having a region indicating a reminder in accordance with the path of a moving obstacle that is one or more obstacles moving, Depending on the possibility that the path of the dynamic obstacle changes due to the presence of another obstacle, the area indicating the alerting differs.
  • the technical features of such a vehicle driving assistance system are also applicable to a vehicle driving assistance method and a vehicle driving assistance program.
  • the vehicle driving assistance method can include various steps including the features of the vehicle driving assistance system described above.
  • the vehicle driving assistance program can cause a computer to realize various functions including the features of the vehicle driving assistance system described above.
  • the vehicle driving assistance method and the vehicle driving assistance program can also achieve the effects of the above-described vehicle driving assistance system.
  • the characteristic configuration of the vehicle driving assistance method in that case is It is a vehicle driving assistance method for superimposing a caution image on a real landscape and displaying it on a display unit,
  • the caution image is an image having a region indicating a reminder in accordance with the path of a moving obstacle that is one or more obstacles moving, It is a point having the step of making the area which shows the alerting different, and displaying it according to the possibility that the course of the dynamic obstacle changes with the existence of another obstacle.
  • the characteristic configuration of the vehicle driving assistance program is It is a vehicle driving assistance program that superimposes a warning image on a real landscape and displays it on the display unit,
  • the caution image is an image having a region indicating a reminder in accordance with the path of a moving obstacle that is one or more obstacles moving,
  • the point is to have a computer implement a function to display the alerting area differently depending on the possibility that the path of the dynamic obstacle changes due to the presence of another obstacle.
  • the driver can appropriately notify the driver of the presence of the dynamic obstacle by displaying the caution image.
  • the driver may change the course of the dynamic obstacle by displaying the attention image in a different area depending on whether or not the course of the dynamic obstacle changes due to another obstacle. Can be notified.
  • the driver can perform the driving operation paying attention to the dynamic obstacle further.
  • it is possible to appropriately notify the driver of information for traveling while avoiding moving obstacles, taking into consideration the correlation between a plurality of obstacles around the vehicle. it can.
  • a diagram showing an example in which an attention image is superimposed on a real landscape A diagram showing an example in which an attention image is superimposed on a real landscape
  • FIG. 1 shows an example of the vicinity of the driver's seat 101 of a vehicle 100 equipped with a vehicle driving assistance system
  • the block diagram of FIG. 2 schematically shows an example of the system configuration of the vehicle driving assistance system 10.
  • FIGS. 3 to 5 show the concept of driving assistance by the vehicle driving assistance system 10
  • the flowcharts of FIGS. 6 and 7 show procedures of the driving assistance implemented as, for example, a vehicle driving assistance method and a vehicle driving assistance program.
  • An example is shown. 8 to 10 show an example in which the caution image ME is superimposed on the real scenery S.
  • the vehicle driving assistance system 10 is a system for providing the driver with information for assisting the driving, and in the present embodiment, the information for assisting the driving by superimposing and displaying the attention image ME on the real scenery S. Provided to the driver (see FIGS. 8 to 10). In the present embodiment, a mode in which the recommended driving image M is further superimposed and displayed is illustrated, but it is sufficient to superimpose only the caution image ME without superposing the recommended driving image M.
  • the vehicle driving assistance method is a method of performing driving assistance using hardware or software that configures the vehicle driving assistance system 10 as described later with reference to, for example, FIG. 2 and the like.
  • the vehicle driving assistance program is a program that is executed, for example, in a computer (for example, an arithmetic processing unit 4 described later with reference to FIG. 2) included in the vehicle driving assistance system 10 and realizes a vehicle driving assistance function.
  • the actual scenery S on which the caution image ME and the recommended driving image M are superimposed may be a scenery seen from the driver's seat 101 through the front window 50 of the vehicle 100, or may be photographed by the front camera 1 (see FIG. 2, FIG. 3 etc.) It may be an image projected on the monitor 52.
  • the caution image ME and the recommended driving image M are drawn on the head-up display 51 formed on the front window 50 and superimposed on the real landscape S, for example.
  • the dashed area shown in the front window 50 in FIG. 1 is the area where the head-up display 51 is formed.
  • the caution image ME and the recommended driving image M are superimposed on the video.
  • the vehicle driving assistance system 10 has a front camera 1 (CAMERA), an arithmetic processing unit 2 (CAL), a graphic control unit 3 (GCU), and a display device 5 (DISPLAY). ing.
  • the arithmetic processing unit 2 and the graphic control unit 3 are arithmetic processing units 4 configured as one processor (system LSI, DSP (Digital Signal Processor), etc.) or one ECU (Electronic Control Unit). It is configured as part of Of course, the arithmetic processing unit 4 may include other functional units (not shown).
  • the display device 5 includes the head-up display 51 and the monitor 52 described above.
  • the vehicle driving assistance system 10 further includes a sensor group 6 (SEN), a navigation database 7 (navi_db), and a viewpoint detection device 8 (EP_DTCT).
  • the sensor group 6 can include a sonar, a radar, a vehicle speed sensor, a yaw rate sensor, a GPS (Global Positioning System) receiver, and the like.
  • the navigation database 7 is a database in which map information, road information, feature information (information such as road signs, road markings, facilities, etc.) are stored.
  • the viewpoint detection device 8 includes, for example, a camera for capturing an image of the head of the driver, and detects the viewpoint (eye) of the driver. It is preferable that the caution image ME and the recommended driving image M drawn on the head-up display 51 be drawn at a position according to the viewpoint of the driver.
  • the arithmetic processing unit 2 identifies one or more obstacles B present in the vicinity of the vehicle 100, in particular, in the direction of travel, by image recognition using an image captured by the front camera 1.
  • the obstacle B is not limited to an object (for example, a road sign projected on the road, a telephone pole, a postal post, etc.) fixed to a road or the like, or a moving object or movement such as a pedestrian, a bicycle, or a parked vehicle Contains objects that can be When these are distinguished, a fixed obstacle B is referred to as a static obstacle, and a moving obstacle B (an obstacle B capable of moving) is referred to as a dynamic obstacle.
  • the term “obstacle B” includes static obstacles and dynamic obstacles without distinction.
  • the arithmetic processing unit 2 may be able to improve recognition accuracy by further using information provided from the sensor group 6 such as sonar and radar. Further, when the obstacle B is a moving obstacle and is moving, the processing unit 2 estimates the moving direction and the moving speed of the moving object. The arithmetic processing unit 2 detects the movement trajectory of the dynamic obstacle based on the photographed image of the front camera 1, for example, using known image recognition processing such as optical flow method, and predicts the movement speed and the future movement direction. Do (estimate). Further, when the obstacle B is a dynamic obstacle and is stopped, the processing unit 2 determines whether or not the obstacle B may move, and the obstacle may move. If there is, estimate the moving direction and moving speed.
  • the obstacle B is a static obstacle or a dynamic obstacle. In some cases, it may be possible to improve the determination accuracy.
  • FIG. 3 shows a state in which the bicycle travels in the same direction as the vehicle 100 in front of the vehicle 100 indicated by a solid line.
  • this bicycle is a first obstacle B1 as a dynamic obstacle.
  • the arithmetic processing unit 2 detects the first obstacle B1 and calculates the moving direction and moving speed of the first obstacle B1.
  • the first obstacle B1 travels at a lower moving speed than the vehicle 100 in the moving direction indicated by an alternate long and short dash line in FIG. 3.
  • the arithmetic processing unit 2 further calculates the estimated movement direction and the estimated movement speed, and calculates the degree of influence E that the first obstacle B1 exerts on the travel of the vehicle 100 based on these.
  • the influence degree E is set as an elliptical area whose movement direction coincides with the long axis.
  • the influence degree E is such an elliptical shape
  • the obstacle B be positioned on one focal point of the ellipse or on the outer peripheral side in the direction opposite to the estimated movement direction than the focal point.
  • the influence of the obstacle B which is a dynamic obstacle, on the progress of the vehicle 100 is larger on the traveling direction side of the obstacle B, so an appropriate degree of influence E is set.
  • the length of the major axis of the ellipse be longer as, for example, the estimated movement speed becomes higher. Since the obstacle B travels a long distance in a short time as the estimated travel speed is higher, the impact degree E is also set to be larger.
  • the degree of influence E is set to change stepwise, and the first degree of influence E1 in the area near the obstacle B is higher than the second degree of influence E2 in the area relatively far from the obstacle B. It is E.
  • the two-stage influence degree E is illustrated, it may naturally have three or more stages. Note that, as described later, the degree of influence E is not limited to stepwise change, but may be continuously changed.
  • the degree of influence E is also set for a static obstacle.
  • the degree of influence E on a static obstacle can be calculated in the same manner as a dynamic obstacle, for example, if the vector of the moving direction or the estimated moving direction is zero and the moving speed is zero. And in this embodiment, the image which shows this influence degree E is superimposed on the real scenery S, and is displayed as the caution image ME.
  • the future moving direction of the dynamic obstacle is not necessarily the same as the detected moving direction.
  • a second obstacle B2 which is another obstacle B different from the first obstacle B1 ahead of the first obstacle B1.
  • the second obstacle B2 may be a dynamic obstacle or a static obstacle.
  • the first obstacle B1 may perform an avoidance action on the second obstacle B2. For example, as shown in FIG. 5, a first obstacle B1 (bicycle) traveling in a direction indicated by a block arrow at the end of the road in FIG.
  • the second obstacle B2 present at the end of the road (As indicated by the dashed-dotted arrow), it is possible to move closer to the center of the road.
  • the estimated movement direction is not the direction along the road as shown in FIG. 3, but the center of the road as shown in FIG. It becomes a direction.
  • the elliptical influence E also projects from the center of the road.
  • a recommended route K (first recommended route K1) which is a traveling route equivalent to the traveling route of the general vehicle 100. Even if the vehicle 100 travels, the recommended route K and the area where the influence degree E is set do not overlap.
  • the first recommended route K1 and the area where the influence degree E is set overlap.
  • the processing unit 2 sets, as the recommended route K, a traveling route relatively less likely to cause the obstacle B and the vehicle 100 to interfere with each other.
  • the recommended route K is set to pass through a region where the degree of influence E is low.
  • the general A straight traveling route (first recommended route K1) which is an advanced route is set as a recommended route K.
  • first recommended route K1 when the vehicle 100 travels on a general traveling route (first recommended route K1) on the road, as indicated by a broken line in FIG.
  • the arithmetic processing unit 2 different areas are selected depending on the possibility that the path of the dynamic obstacle (for example, the first obstacle B1) changes due to the presence of another obstacle (for example, the second obstacle B2). Set the range of impact degree E. Note that the caution image ME is displayed with different regions displayed accordingly. Further, the arithmetic processing unit 2 sets different recommended routes K as necessary based on the degree of influence E like this. As will be described later, the arithmetic processing unit 2 computes the degree of influence E of the dynamic obstacle and the static obstacle, and passes through the region where the degree of influence E is low using, for example, the potential method described later. Calculate the recommended route K to
  • the arithmetic processing unit 2 may (e.g., predefine in advance) the path of the dynamic obstacle (e.g. the first obstacle B1) is unlikely to change due to the presence of another obstacle (e.g. the second obstacle B2) In the case of less than the route change possibility threshold value), as shown in FIG. 3, an attention image ME is displayed.
  • the processing path of the dynamic obstacle for example, the first obstacle B1
  • the second obstacle B2 for example, the course change
  • the course of the dynamic obstacle for example, the first obstacle B1 is expected to change even though the course of the obstacle does not actually change.
  • the caution image ME is displayed in the corresponding area.
  • the course of the dynamic obstacle for example, the first obstacle B1
  • another obstacle for example, the second obstacle B2
  • the range of the influence degree E is set in different regions according to the possibility that the path of the dynamic obstacle changes due to the presence of another obstacle, for example, the dynamic obstacle (for example, Even if the course of the first obstacle B1) suddenly changes due to the presence of another obstacle
  • the attention image ME according to the course of the dynamic obstacle for example, the first obstacle B1 after change quickly Will be displayed.
  • the route change possibility threshold value may be a fixed value, or may be a variable value that changes according to the situation around the vehicle 100, the traveling speed of the vehicle 100, and the like.
  • the vehicle driving assistance system 10 is a system for providing the driver with information for assisting the driving, and in the present embodiment, the caution image ME and the recommended driving image M are superimposed on the real scenery S. It provides the driver with information to assist driving by displaying it.
  • the caution image ME is an image showing an area displayed according to the course of a moving obstacle that is one or more moving obstacles B.
  • the recommended driving image M is an image including the recommended route image MK and the recommended velocity image MV.
  • the recommended route image MK is an image showing a recommended route K which is a traveling route relatively unlikely to interfere with one or more obstacles B present in the traveling direction of the vehicle 100.
  • the recommended speed image MV is an image showing a recommended speed index which is an index related to the traveling speed recommended when the vehicle 100 travels on the recommended route K.
  • the vehicle driving assistance system 10 displays the caution image ME on the display apparatus 5 at least. If it is That is, the recommended driving image M may not necessarily be displayed on the display device 5.
  • the driver can perform a driving operation such as directing attention to the obstacle B and actively avoiding the obstacle B. It becomes.
  • the path of the dynamic obstacle for example, the first obstacle B1
  • another obstacle B for example, the second obstacle B2
  • the area where the caution image ME is displayed is displayed on the display device 5 with different areas.
  • the vehicle driving assistance system 10 first acquires a photographed image of a landscape in the traveling direction of the vehicle 100 photographed by the front camera 1 (# 1: photographed image acquisition step, photographed image acquisition function ). Next, the vehicle driving assistance system 10 performs image recognition of an obstacle B which may cause interference with the vehicle 100 from the captured image (# 2: obstacle detection step (obstacle recognition step), obstacle detection function (Obstacle recognition function)). As described above, the obstacle B may be detected not only by the image recognition but also by another method using the detection result of the sensor group 6.
  • the vehicle driving assistance system 10 calculates the degree of influence E of the dynamic obstacle therein and calculates the recommended speed index which follows the recommended route K and the recommended route K (# 4 : Recommended route calculation step, recommended route calculation function).
  • # 4 Recommended route calculation step, recommended route calculation function
  • FIG. 6 illustrates an example in which a database reference step # 3 (database reference function) for referring to information of the navigation database 7 is executed prior to the recommended route calculation step # 4.
  • a generally assumed traveling route of the vehicle 100 (a first recommended route K1 shown in FIGS. 3 to 5) is calculated.
  • a traveling route for example, a second recommended route K2 indicated by a solid line in FIGS. 4 and 5) which passes avoiding the obstacle B or the like.
  • the influence of the obstacle B on the traveling of the vehicle 100 is determined.
  • the flowchart of FIG. 7 shows an example thereof.
  • the obstacle B (including a dynamic obstacle and a static obstacle) detected in the obstacle recognition step # 1 includes a dynamic obstacle (Bd). It is done (# 41). When a detected obstacle B includes a dynamic obstacle, it is determined whether or not there are a plurality of detected obstacles B (whether or not the number of obstacles Nobs is 2 or more) (a) # 42). If there are multiple obstacles B, it is determined whether or not other obstacles B (including dynamic obstacles and static obstacles) may affect the movement of the dynamic obstacles. (# 43).
  • the possibility that the other obstacle B affects the movement of the dynamic obstacle is numerically calculated as the "trajectory change possibility". Further, along with the "course change possibility", the direction of the course change of the dynamic obstacle is also calculated. The direction of the path change is selected, for example, from among the plurality of directions that can be calculated based on the behavior of the dynamic obstacle, the most likely direction. Then, in step # 43, for example, when the calculated course change possibility is equal to or higher than the course change possibility threshold, the other obstacle B may affect the movement of the dynamic obstacle. It is determined that there is an influence flag INFL is set to a valid state. If the course change possibility is less than the course change possibility threshold value, it is determined that there is no possibility, and the influence flag INFL is set to the invalid state (the state is maintained in the invalid state).
  • the vehicle driving assistance system 10 superimposes and displays the caution image ME on the real scenery S.
  • the caution image ME is an image representing the area of the degree of influence E described with reference to FIGS. 3 and 5.
  • the degree of influence E is calculated in the recommended route calculation step # 4, and the vehicle driving assistance system 10 generates an attention image ME following the recommended route calculation step # 4 (image generation function) and The image output step # 6 (image output function) of outputting the caution image ME to the display device 5 is executed.
  • the path of the dynamic obstacle may be different in relation to the other obstacle B.
  • the conditions for setting the recommended route K and setting the image are selected according to the possibility.
  • the vehicle driving assistance system 10 displays different areas in which the caution image ME is displayed according to the possibility that the path of the dynamic obstacle changes due to the presence of the obstacle B other than the dynamic obstacle. Display on the device 5
  • the caution image ME is outputted so that the caution image ME is displayed corresponding to the position of the obstacle B in the real landscape S using, for example, the detection result of the viewpoint detection device 8 or the like. Ru.
  • the attention image ME may be generated in correspondence with the position of the obstacle B in the real scenery S in consideration of the viewpoint of the driver. Further, the caution image ME may be generated and displayed in accordance with the display form of the monitor 52.
  • the vehicle driving assistance system 10 also calculates the recommended route K and the recommended speed index in the recommended route calculation step # 4, and the recommended route image MK and the recommended speed image MV in the image generation step # 5. Is also generated, and these images are also output to the display device 5 in the image output step # 6. As described later with reference to FIG. 8 and the like, the recommended route image MK and the recommended velocity image MV are associated with each other.
  • the vehicle driving assistance method can be said to be a method of realizing the driving assistance by executing the respective steps as described above using the hardware and software that constitute the vehicle driving assistance system 10.
  • a computer for example, an arithmetic processing unit 4 described later with reference to FIG. 2 included in the vehicle driving assistance system 10 executes a program for realizing each function as described above.
  • the 8 to 10 show an example in which the caution image ME and the recommended driving image M are superimposed on the real scenery S.
  • the caution image ME and the recommended driving image M are displayed corresponding to the position of the obstacle B in the real scene S, and prompt the driver to recognize the existence of the obstacle B and the possibility of affecting the driving.
  • the driver B can appropriately guide how to drive the vehicle 100 in relation to the obstacle B.
  • FIG. 8 illustrates the display device 5 in which the caution image ME and the recommended driving image M are superimposed on the real scenery S when the vehicle 100 is present at the position indicated by the solid line in FIG. 3.
  • the vehicle driving assistance system 10 detects that the obstacle B is present in a portion surrounded by a broken line in FIG.
  • three obstacles B of a first obstacle B1, a third obstacle B3 and a fourth obstacle B4 are detected, and these are all dynamic obstacles.
  • the first obstacle B1 is a person riding a bicycle
  • the third obstacle B3 and the fourth obstacle B4 are pedestrians.
  • the third obstacle B3 is a standing pedestrian or a pedestrian walking slowly by a walk or the like.
  • the fourth obstacle B4 is a pedestrian who is moving fast or fast.
  • the vehicle driving assistance system 10 displays the caution image ME regarding the first obstacle B1 based on the influence degree E regarding the first obstacle B1 closest to the vehicle 100. That is, the caution image ME is an image showing a region in which the dynamic obstacle and the vehicle 100 may interfere with each other.
  • the caution image ME may be displayed for a plurality of obstacles B (a plurality of forms will be described later with reference to FIG. 14).
  • the caution image ME is displayed with respect to the obstacle B existing in a predetermined range from the vehicle 100 and the obstacle B approaching at a speed higher than a predetermined speed with respect to the recommended route K of the vehicle 100 It is.
  • the attention image ME is displayed in a display form that indicates the degree of influence E that the dynamic obstacle has on the progress of the vehicle 100 in a step-by-step manner, corresponding to the degree of influence E that is set stepwise.
  • a first caution image ME1 corresponding to the first influence degree E1 and a second caution image ME2 corresponding to the second influence degree E2 are displayed.
  • the first caution image ME1 closer to the first obstacle B1 is displayed in white or yellow
  • the second caution image ME2 is displayed in orange or red.
  • the color of the first attention image ME1 and the second attention image ME2 is a color that draws attention as the distance between the vehicle 100 and the obstacle B decreases, taking into account the relative speed with the vehicle 100, etc. based on cognitive engineering etc. Is preferable.
  • the orange and red colors of the second caution image ME2 remind the driver that attention is generally required.
  • the bicycle as the first obstacle B1 travels straight at this time, but there is also a possibility that it will suddenly change course on the roadway side or fall.
  • the driver can recognize the presence of the first obstacle B1 and perform the driving operation with attention to the trend.
  • the vehicle driving assistance system 10 further adds the recommended route image MK and the recommended speed to the caution image ME.
  • the image MV is also displayed superimposed on the real scenery S.
  • the vehicle driving assistance system 10 is capable of an area where the obstacle B is estimated to affect the travel of the vehicle 100 (an area where the degree of influence E is set).
  • Set the recommended route K as far as possible. That is, a traveling route relatively low in the possibility of interference between the obstacle B present in the traveling direction of the vehicle 100 and the vehicle 100 is set as the recommended route K.
  • a generally recommended traveling path (first recommended path K1) can be set as the recommended path K, as shown by a solid line in FIG.
  • FIG. 8 exemplifies a form in which a recommended route image MK is displayed so as to indicate a route going straight on the road corresponding to the recommended route K.
  • the recommended route image MK is displayed in association with the recommended velocity image MV.
  • the recommended speed image MV is displayed in the display area of the recommended route image MK, and is displayed as a recommended driving image M integrated with the recommended route image MK.
  • the recommended driving image M (recommended route image MK) is formed by arranging a plurality of unit images UM along the recommended route K.
  • the recommended velocity image MV can be expressed by making the colors of unit images UM arranged along the recommended route K different.
  • all the unit images UM are displayed as a first unit image M1 (for example, white or blue) which allows progress at a general speed.
  • FIG. 9 illustrates the display device 5 in which the caution image ME and the recommended driving image M are superimposed on the actual scenery S when the vehicle 100 is present at the position indicated by the solid line in FIG. 4.
  • the vehicle driving assistance system 10 detects that the obstacle B is present in a portion surrounded by a broken line in FIG.
  • four obstacles B are also detected, including the second obstacle B2 which is a pedestrian, and these are all dynamic obstacles.
  • the bicycle as the first obstacle B1 changes its course toward the center of the road in order to avoid the second obstacle B2 which is a pedestrian.
  • the area of influence degree E is also set to project toward the center of the road along the estimated movement direction.
  • the vehicle driving assistance system 10 displays a warning image ME regarding the first obstacle B1 based on the degree of influence E regarding the first obstacle B1. That is, compared with the caution image ME illustrated in FIG. 8, the caution image ME illustrated in FIG. 9 is displayed so as to overhang at the center of the road.
  • the driver recognizes the presence of the first obstacle B1 by displaying such a caution image ME, and the first obstacle B1 comes out at a position that affects the progress of the vehicle 100. Recognizing the possibility, it is possible to perform driving operation paying attention to the trend.
  • FIG. 10 illustrates the display device 5 in which the caution image ME and the recommended driving image M are superimposed on the real scenery S when the vehicle 100 is present at the position indicated by the solid line in FIG. 5.
  • the vehicle driving assistance system 10 detects that the obstacle B is present in a portion surrounded by a broken line in FIG. Again, four obstacles B have been detected, all of which are dynamic obstacles.
  • FIGS. 9 and 10 also illustrate a form in which the recommended route image MK and the recommended velocity image MV are displayed superimposed on the real scenery S in addition to the caution image ME.
  • the vehicle driving assistance system 10 is capable of an area where the obstacle B is estimated to affect the traveling of the vehicle 100 (an area where the influence degree E is set).
  • Set the recommended route K as far as possible.
  • FIGS. 4 and 5 illustrate an embodiment in which a second recommended route K2 that largely bypasses the first obstacle B1 is set in order to explain the concept of driving assistance.
  • 9 and 10 can not set the second recommended route K2 bypassing the first obstacle B1 as described above, and the recommended route image MK and the recommendation when the first recommended route K1 is the recommended route K
  • the velocity image MV is illustrated.
  • the recommended driving image M (recommended route image MK) is formed by arranging a plurality of unit images UM along the recommended route K. Since the recommended route K is the first recommended route K1 in both the embodiment illustrated in FIG. 8 and the embodiment illustrated in FIG. 10, the arrangement of the unit images UM is the same as in FIGS. 8, 9 and 10 It is. However, the recommended speed (recommended speed index) changes with the change in the estimated moving direction of the first obstacle B1. For example, the recommended velocity image MV can be expressed by making the colors of unit images UM arranged along the recommended route K different. In the embodiment illustrated in FIG. 9 and FIG. 10, since the region where the degree of influence E is set and the recommended route K overlap, it is preferable to prompt the driver, for example, to decelerate or slow the vehicle. For this reason, the recommended speed of the vehicle 100 is reduced along the traveling direction.
  • a unit image UM arranged in a region where the vehicle 100 is located behind the first obstacle B1 is displayed as a first unit image M1 (for example, white or blue), and the vehicle 100 1 illustrates an example in which a unit image UM arranged in a region aligned with the obstacle B1 (a region where the caution image ME and the recommended driving image M overlap) is displayed as a second unit image M2 (for example, yellow) . Further, a unit image UM arranged in a region located ahead of the first obstacle B1 by the vehicle 100 overtaking the first obstacle B1 is displayed as a first unit image M1 (for example, white or blue) .
  • a first unit image M1 for example, white or blue
  • the colors of the first unit image M1 and the second unit image M2 are colors that draw attention as the recommended speed is lower based on cognitive engineering or the like.
  • the yellow color of the second unit image M2 is generally recalled to require more attention by a person than the white or blue color of the first unit image M1.
  • the recommended velocity image MV is displayed in association with the recommended route image MK by displaying the recommended velocity index at each point on the recommended route K.
  • the traveling speed recommended for the vehicle 100 differs depending on each point on the recommended route K.
  • the driver By displaying the recommended speed index at each point on the recommended route K in association with the recommended route image MK, it is possible for the driver to run the recommended route K at any traveling speed. Information can be reported in an easy-to-understand manner.
  • the area where the caution image ME is displayed is the presence of the obstacle B whose path of the moving obstacle is another. And the case where the course of the dynamic obstacle may change due to the presence of another obstacle B. Specifically, as apparent from the comparison between FIG. 3 and FIG. 4 and the comparison between FIG. 8 and FIG. 9, the path (estimated movement direction) of the moving obstacle is different from the moving obstacle. When there is a possibility of change due to the presence of the object B, the caution image ME is displayed in the area corresponding to the changed course.
  • the caution image ME is an image for calling the driver's attention, it is not necessary to set the region where the dynamic obstacle can not progress. For example, as illustrated in FIG. 11, when it is possible to separate an area through which the detected obstacle B such as a pedestrian or a bicycle passes by a guardrail G or a hedge, and an area through which the vehicle 100 passes. You may exclude the caution image ME of an unnecessary location. That is, according to the structure of the road on which the vehicle 100 and the dynamic obstacle travel, the caution image ME is displayed excluding an area where the dynamic obstacle may not interfere with the traveling path of the vehicle 100. It is suitable.
  • Such a road structure can be identified, for example, by image recognition based on a captured image by the front camera 1.
  • the guardrail G, the hedge or the like may be specified based on the map information, the road information, and the feature information (information such as road signs, road markings, facilities, etc.) acquired from the navigation database 7.
  • image recognition may be assisted based on the detection result of the sensor group 6 such as a sonar or a radar that detects an object on the side of the vehicle 100, or a guardrail G, a hedge or the like may be specified.
  • FIG. 12 shows the degree of influence E which is the basis of the caution image ME when the first obstacle B1 (bicycle) and the fourth obstacle B4 (pedestrian) approach in a state in which the estimated movement directions are orthogonal to each other. It is illustrated. As shown in FIG.
  • each attention image ME displayed corresponding to the influence degree E is also displayed with the influence degree E of the attention image ME having the highest influence degree E in the overlapping area as the influence degree E of the overlapping area .
  • the influence degree E can be calculated as a cost related to traveling in a range where the vehicle 100 can travel (for example, on the road). For example, the cost is high at the position where the obstacle B is present and in the vicinity thereof (for example, in the area of the first influence degree E1), and the cost is low at a position where the vehicle 100 can travel smoothly without the obstacle B or the like.
  • the cost of the destination on the traveling route within the range of the photographed image is set to the lowest value (for example, zero).
  • the vehicle driving assistance system 10 can calculate the recommended route K by calculating the shortest course passing from the current location to the destination through a low cost point. Simply setting the course through the lowest cost point may increase the distance. Therefore, the recommended route K is calculated in consideration of the vehicle speed (required time) and the like. In this calculation method, since the path in the direction of low cost is calculated, the calculation load is relatively lightened. There are also cases where it is preferable that the number of obstacles B is large and that the vehicle 100 stop. In preparation for such a case, it is preferable that the upper limit value of the cost capable of blocking the path is also set.
  • FIG. 13 exemplifies a state in which areas of a plurality of influence degrees E are set for a plurality of obstacles B.
  • the vehicle driving assistance system 10 calculates the recommended route K by calculating the shortest course passing through a low cost point based on the degree of influence E.
  • the recommended route image MK is displayed so as to pass through the area where the degree of influence E is low.
  • the Potential Method is known as a technique for autonomously operating by avoiding the obstacle B in the three-dimensional space, as described above. Since the potential method is known, detailed description is omitted, but, for example, a potential function is defined at the current position, the target position (destination), or the position of the obstacle B, and the gradient is used as the traveling direction. , The recommended route K can be calculated.
  • the gradient can be obtained by partial differentiation of each coordinate component (for example, in the case of a three-dimensional orthogonal coordinate system, each of x, y, z axes, etc.).
  • the potential gradient to the destination works in the trigger direction, and the traveling direction of the recommended route K goes to the destination.
  • the potential gradient of the obstacle B works in the repelling direction
  • the recommended route K is set to avoid the obstacle B.
  • the potential function can be updated in real time based on observation information (photographed image, detection result of sensor group 6, etc.), and thereby, it is possible to calculate an appropriate recommended route K at each time point.
  • the influence degree E can be set according to the potential gradient.
  • the form in which the influence degree E is set stepwise is illustrated with reference to FIGS. 3 to 5 and the like, the influence degree E may be a form that changes continuously.
  • parameters such as a continuously changing potential gradient may be expressed in stages by setting thresholds.
  • the caution image ME based on the degree of influence E, and in FIGS. 8 to 10, etc., the forms displayed in different colors in stages are illustrated. However, the color may be changed continuously.
  • the attention image ME may be expressed stepwise by setting a threshold value to the continuously changing influence degree E.
  • FIG. 14 illustrates an attention image ME when the first obstacle B1 (bicycle) and the fourth obstacle B4 (pedestrian) approach each other in a state in which the estimated movement directions are orthogonal to each other as illustrated in FIG. 12. And the display device 5 in which the actual landscape S is superimposed. In a region where the second caution image ME2 for the first obstacle B1 and the first caution image ME1 for the fourth obstacle B4 overlap, the first caution image ME1 corresponding to the relatively high first influence degree E1 is displayed. ing.
  • FIG. 14 shows a form in which the recommended driving image M is also superimposed, as in FIGS.
  • the front of the vehicle 100 that is, the traveling route is blocked by the caution image ME. That is, the travel route of the vehicle 100 is blocked by the area where the degree of influence E is set.
  • the recommended speed is set one step lower than normal, and the recommended driving image M is displayed as a second unit image M2 (for example, yellow) representing creeping even in an area not overlapping with the caution image ME.
  • the recommended driving image M is displayed in the third unit image (for example, red) so as to urge the most gradual crawling or stop.
  • the third unit image for example, red
  • the recommended driving image M is interrupted at a position where the two first attention images ME1 are close to each other. Thereby, it is preferable to reduce the speed of the vehicle 100 to a speed close to a stop, for example, in order to note both the first obstacle B1 and the fourth obstacle B4 approaching the vehicle 100 from different directions. Are notified to the person.
  • the caution image ME is not displayed, and the dynamic image
  • the warning image ME may be displayed.
  • the first caution image ME1 is displayed, In the case where the course of the dynamic obstacle may change due to the presence of another obstacle B (for example, in the case of the course change possibility threshold or more), the second caution in addition to the first caution image ME1
  • the image ME2 may be displayed.
  • this second caution image ME2 may correspond to the second influence degree E2 based on the estimated movement direction when there is little possibility that the path of the dynamic obstacle changes due to the presence of another obstacle B. .
  • the warning image ME may be displayed as in the other embodiment (1). That is, the vehicle driving assistance system 10 does not display the caution image ME when there is almost no possibility that the route changes (for example, less than the route change possibility threshold), and the route may change. In some cases (e.g., above the course change possibility threshold value), the attention image ME may be displayed in an area corresponding to the changing course.
  • the vehicle driving assistance system 10 may display only the first caution image ME1 and may change it when there is little possibility that the route changes (for example, less than the route change possibility threshold).
  • the first caution image ME1 and the second caution image ME2 may be displayed in the area corresponding to the changing course.
  • the unit image UM is arranged along the recommended route K with reference to FIG. 8 to FIG. 10, FIG.
  • the recommended route image MK may be formed in a continuous line.
  • the recommended speed image MV is a recommended driving image, even in the continuous linear form as described in the other embodiment (3). At least one of the color, the shape, and the motion of M may be displayed in a different manner in accordance with a recommended speed indicator such as a traveling speed.
  • the recommended velocity image MV may be represented by changing the arrangement form of the plurality of unit images UM.
  • the recommended speed index such as the traveling speed
  • the movement of the recommended speed image MV may be displayed in a different manner in accordance with the recommended speed index such as the traveling speed of the vehicle 100.
  • the recommended speed image MV may be represented by making the moving speed at which the unit image UM moves in the traveling direction along the recommended route K different according to the recommended speed index such as the traveling speed. Considering the moving speed of the unit image UM in correspondence with the traveling speed of the vehicle 100, when the moving speed V is relatively slow, the traveling speed of the vehicle 100 is low, and the driver is urged to drive slowly. it can.
  • the recommended route image MK may be formed in a continuous line.
  • one recommended route image MK may move along the recommended route K, or a form in which the continuous linear recommended route image MK sweeps (disappears in order from the front and reaches the tip of the recommended route K) Then, it may be in a form of repeating drawing again.
  • each unit image UM is formed into a pentagonal shape in which the tip end portion is in the shape of an arrow along the recommended path K.
  • Each unit image UM is formed such that the angle (inner angle) of the tip portion in the traveling direction increases as the traveling speed decreases.
  • the tip of the unit image UM having the largest tip angle is linear. That is, the unit image UM corresponding to the slowest velocity (for example, zero) is formed in a rectangular shape without an arrow portion.
  • the unit image UM can represent, for example, an image recommended to stop the vehicle 100.
  • the shape of the one recommended route image MK may be changed.
  • the traveling speed or the like may be expressed by forming a tip of the continuous linear one recommended route image MK into a pointed shape in the shape of an arrow and making the tip different in shape.
  • the tip end is sharpened when the recommended travel speed is high, and the angle of the tip end becomes larger as the recommended travel speed becomes slower (the sharpness decreases and becomes flat).
  • the form which is a running speed index (absolute speed) recommended to vehicles 100 which a running speed index which recommendation speed picture MV shows is illustrated. That is, the example in which the recommended speed image MV is displayed in a display form corresponding to the absolute speed of the vehicle 100 has been exemplified.
  • the travel speed index is not limited to the absolute speed as long as it is an index related to the travel speed recommended when the vehicle 100 travels on the recommended route K.
  • the traveling speed indicator may be the acceleration of the vehicle 100 including the decelerating acceleration recommended for the vehicle 100 and the accelerated acceleration permitted for the vehicle 100. Therefore, the recommended speed image MV may be displayed in a display form corresponding to the acceleration of the vehicle 100 including the decelerating acceleration recommended for the vehicle 100 and the accelerated acceleration permitted for the vehicle 100.
  • the recommended velocity image MV is described as an example in which the recommended route image MK is displayed in the display area.
  • the recommended route image MK and the recommended velocity image MV are displayed in association with each other. If being, it does not prevent the form in which the recommended velocity image MV is displayed outside the display area of the recommended route image MK.
  • the recommended velocity image MV indicating numerically the recommended velocity may be added to the side of the continuous arrow-shaped recommended route image MK.
  • the recommended velocity image MV attached to the side of the recommended route image MK is not limited to a numerical value, and may be any one that can represent the recommended velocity index by color, shape, or movement.
  • the recommended speed index may be expressed by the gradation of the color of the side line along the recommended route image MK, the movement of the side line, or the like.
  • This vehicle driving assistance system (10) is It has a display unit (5) that displays an alert image (ME) superimposed on the actual landscape (S),
  • the caution image (ME) is an image having a region indicating a reminder in accordance with the path of the moving obstacle (B) which is one or more obstacles (B) moving.
  • the area indicating the alerting differs depending on the possibility that the path of the dynamic obstacle (B) changes due to the presence of another obstacle (B).
  • the dynamic obstacle (D) is displayed on the driver by displaying a caution image (ME) in a different area depending on whether or not the path of the dynamic obstacle (B) changes due to another obstacle (B). It can be informed that the course of B) may change. Thereby, the driver can perform the driving operation paying attention to the dynamic obstacle (B).
  • the information for traveling while avoiding the moving obstacle (B) is appropriately taken into consideration, taking into consideration the correlation between the plurality of obstacles (B) around the vehicle (100). It is possible to notify the driver.
  • the caution image (ME) indicates a region where the dynamic obstacle (B) and the vehicle (100) may interfere with each other.
  • the driver can easily recognize the presence of the dynamic obstacle (B) and the presence of the region that affects the traveling of the vehicle (100) due to the movement thereof.
  • the warning image (ME) is displayed in a different area from the case where it does not change according to the possibility that the path of the dynamic obstacle (B) changes due to the presence of another obstacle (B)
  • the caution image (ME) is displayed in an area corresponding to the changing course.
  • the dynamic obstacle (B) is a moving obstacle (B), and the moving direction may also change. Even if the existence of the dynamic obstacle (B) is recognized, the driver may be annoyed if the movement direction of the dynamic obstacle (B) suddenly changes without the driver's expectation. However, when there is a possibility that the course of the dynamic obstacle (B) may change, the driver also has the dynamic obstacle (B) when the caution image (ME) is displayed according to the course of the change. It is possible to anticipate the possibility of changing the course, and the possibility of being able to calmly react quickly is high.
  • the warning image indicates the moving obstacle (B) in the traveling route of the vehicle (100) according to the structure of the road on which the warning image (ME), the vehicle (100) and the moving obstacle (B) travels. Is preferably displayed excluding an area where there is no possibility of interference.
  • the caution image (ME) is also useful in promoting the driver's awareness of the presence of the obstacle (B).
  • the driver feels troublesome that the caution image (ME) is displayed even in a region where the vehicle (100) and the dynamic obstacle (B) can not interfere with each other. there is a possibility. Therefore, it is preferable that an attention image (ME) is displayed excluding an area where the dynamic obstacle (B) may not interfere with the traveling path of the vehicle (100).
  • the caution image (ME) is displayed in a mode that indicates the degree of influence (E) of the dynamic obstacle (B) on the progress of the vehicle (100) in a stepwise manner.
  • the driver can easily recognize the degree of influence (E) and can easily perform a driving operation in consideration of the degree of influence (E).
  • the display unit (5) further includes a recommended route image (MK) indicating a recommended route (K) which is a traveling route relatively less likely to interfere with at least the dynamic obstacle (B).
  • MK recommended route image
  • the recommended route image (MK) is displayed so as to pass through a region where the degree of influence (E) is low among the plurality of stages of influence (E), displaying superimposed on a real landscape (S) It is suitable.
  • the recommended route image (MK) informs the recommended route (K) to be set to pass through the region where the degree of influence (E) is low, so that the driver is appropriately driven with the influence of the obstacle B reduced. Information can be reported.
  • the dynamic obstacles (B) exist, and the caution image (ME) is displayed for each of the dynamic obstacles (B), and a plurality of the caution images (ME) overlap each other.
  • the influence degree (E) of the attention image (ME) having the highest influence degree (E) in the overlapping area is regarded as the influence degree (E) of the overlapping area, It is preferable that a caution image (ME) is displayed.
  • the obstacle (B) corresponding to each attention image (ME) does not act on average, but the side with the higher influence degree (E) The obstacle (B) is more likely to affect the progress of the vehicle (100). Therefore, the driver may be notified of appropriate driving information when the caution image (ME) is displayed according to the influence degree (E) of the obstacle (B) on the higher influence degree (E) side. it can.
  • the vehicle driving assistance method may comprise steps comprising the features of the vehicle driving assistance system (10) described above.
  • the vehicle driving assistance program can cause a computer to realize a function including the features of the vehicle driving assistance system (10) described above.
  • the vehicle driving assistance method and the vehicle driving assistance program can also exhibit the effects of the above-described vehicle driving assistance system (10).
  • the vehicle driving assistance method in that case is It is a vehicle driving assistance method that superimposes the caution image (ME) on the real landscape (S) and causes the display unit (5) to display the warning image
  • the caution image (ME) is an image having a region indicating a reminder in accordance with the path of the moving obstacle (B) which is one or more obstacles (B) moving. According to the possibility that the path of the dynamic obstacle (B) changes due to the presence of another obstacle (B), the area indicating the alerting is displayed differently.
  • the vehicle driving assistance program It is a vehicle driving assistance program that causes the display unit (5) to display the warning image (ME) superimposed on the actual scenery (S),
  • the caution image (ME) is an image having a region indicating a reminder in accordance with the path of the moving obstacle (B) which is one or more obstacles (B) moving. According to the possibility that the path of the dynamic obstacle (B) changes due to the presence of another obstacle (B), the computer realizes a function of displaying different areas indicating the alerting.

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

車両の周辺の複数の障害物の相関関係も考慮して、移動する障害物を回避して走行するための情報を適切に運転者に報知する。車両運転補助システム（１０）は、実風景（Ｓ）に注意画像（ＭＥ）を重畳して表示装置５に表示する。注意画像（ＭＥ）は、移動する１つ又は複数の障害物（Ｂ）である動的障害物（Ｂ（Ｂ１））の進路に応じて注意喚起を示す領域を有する画像であり、動的障害物（Ｂ（Ｂ１））の進路が、別の障害物（Ｂ（Ｂ２））の存在によって変化する可能性に応じて、注意喚起を示す領域が異なる。

Description

車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
　本発明は、運転者による車両の運転を補助する車両運転補助技術に関する。
　特開２００５－５６３７２号公報には、車両の周囲に存在する障害物を回避しながら車両を走行させるための走行ルートを演算する車両制御装置が開示されている（請求項１、図３３等）。この走行ルートは、地図上に設定された危険領域を避けるように設定される。危険領域は、車両、自転車、歩行者などの対象物の位置、移動方向、移動速度に基づいて設定されている。例えば、危険領域又は危険領域を避けるように設定された走行ルートを参照することで、運転者は、他の車両、自転車、歩行者等に対して配慮した運転操作を行うことができる。
特開２００５－５６３７２公報
　この車両制御装置では、車両、自転車、歩行者などの対象物の相互の関連性は考慮せずに危険領域を設定している。しかし、実際には、自転車が歩行者を追い越したり、車両が自転車を追い越したりするなど、対象物移動方向や移動速度は、他の対象物との関係によって変化する場合がある。このため、単純に個々の対象物についての位置、移動方向、移動速度に基づいて危険領域を設定するだけでは、自車両の周辺に存在する他の車両、自転車、歩行者等の障害物を回避するための情報を報知する上で改善の余地がある。
　上記背景に鑑みて、車両の周辺の複数の障害物の相関関係も考慮して、移動する障害物を回避して走行するための情報を適切に運転者に報知することが望まれる。
　上記に鑑みた車両運転補助システムの特徴構成は、
　実風景に注意画像を重畳して表示する表示部を備え、
　前記注意画像は、移動する１つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
　前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記前記注意喚起を示す領域が異なる点にある。
　このような車両運転補助システムの技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能である。例えば、車両運転補助方法は、上述した車両運転補助システムの特徴を備えた各種のステップを有することができる。また、車両運転補助プログラムは、上述した車両運転補助システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。当然ながらこれらの車両運転補助方法及び車両運転補助プログラムも、上述した車両運転補助システムの作用効果を奏することができる。
　その場合における車両運転補助方法の特徴構成は、
　実風景に注意画像を重畳して表示部に表示させる車両運転補助方法であって、
　前記注意画像は、移動する１つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
　前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させるステップを有する点にある。
　また、車両運転補助プログラムの特徴構成は、
　実風景に注意画像を重畳して表示部に表示させる車両運転補助プログラムであって、
　前記注意画像は、移動する１つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
　前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させる機能をコンピュータに実現させる点にある。
　これらの特徴構成によれば、注意画像を表示することにより、運転者に動的障害物の存在を適切に報知することができる。また、別の障害物によって動的障害物の進路が変化するか否かに応じて異なる領域に注意画像を表示することによって、運転者に動的障害物の進路が変化する可能性のあることを報知することができる。これにより、運転者は、さらに動的障害物に注意を払って運転操作を行うことができる。このようにこれらの特徴構成によれば、車両の周辺の複数の障害物の相関関係も考慮して、移動する障害物を回避して走行するための情報を適切に運転者に報知することができる。
　車両運転補助システム、車両運転補助方法、車両運転補助プログラムのさらなる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。
車両の運転席付近の一例を示す斜視図 車両運転補助システムのシステム構成の一例を模式的に示すブロック図 運転補助の概念を示す平面図 運転補助の概念を示す平面図 運転補助の概念を示す平面図 運転補助の手順の一例を示すフローチャート 注意画像を表示させる領域の決定手順の一例を示すフローチャート 実風景に注意画像が重畳された一例を示す図 実風景に注意画像が重畳された一例を示す図 実風景に注意画像が重畳された一例を示す図 運転補助の概念を示す平面図 運転補助の概念を示す平面図 推奨経路の設定条件の一例を示す図 実風景に注意画像が重畳された一例を示す図
　以下、車両運転補助システム（車両運転補助方法及び車両運転補助プログラムを含む）の実施形態を図面に基づいて説明する。図１は、車両運転補助システムが搭載された車両１００の運転席１０１付近の一例を示しており、図２のブロック図は、車両運転補助システム１０のシステム構成の一例を模式的に示している。図３～図５は、車両運転補助システム１０による運転補助の概念を示しており、図６及び図７のフローチャートは、例えば車両運転補助方法、車両運転補助プログラムとして実現される運転補助の手順の一例を示している。また、図８～図１０は、実風景Ｓに注意画像ＭＥが重畳された一例を示している。
　車両運転補助システム１０は、運転者に対して、運転を補助する情報を提供するシステムであり、本実施形態では、実風景Ｓに注意画像ＭＥを重畳して表示することによって運転を補助する情報を運転者に提供する（図８～図１０等参照）。尚、本実施形態では、さらに推奨運転画像Ｍを重畳して表示する形態を例示しているが、推奨運転画像Ｍを重畳することなく、注意画像ＭＥのみを重畳すれば充分である。
　尚、車両運転補助方法は、例えば図２等を参照して後述するような、車両運転補助システム１０を構成するハードウェアやソフトウェアを利用して、運転補助を実行する方法である。また、車両運転補助プログラムは、例えば車両運転補助システム１０に含まれるコンピュータ（例えば図２を参照して後述する演算処理ユニット４など）において実行され、車両運転補助機能を実現させるプログラムである。
　注意画像ＭＥや推奨運転画像Ｍが重畳される実風景Ｓは、運転席１０１から車両１００のフロントウィンドゥ５０を通して見える風景でも良いし、後述するフロントカメラ１（図２、図３等参照）によって撮影されてモニタ５２に映し出される映像であってもよい。実風景Ｓがフロントウィンドゥ５０を通して見える風景の場合、注意画像ＭＥや推奨運転画像Ｍは、例えばフロントウィンドゥ５０に形成されたヘッドアップディスプレイ５１に描画されて実風景Ｓに重畳される。図１においてフロントウィンドゥ５０に示された破線の領域は、ヘッドアップディスプレイ５１が形成されている領域である。また、実風景Ｓがモニタ５２に映し出される映像の場合、注意画像ＭＥや推奨運転画像Ｍは、当該映像に重畳される。
　図２に示すように、車両運転補助システム１０は、フロントカメラ１（CAMERA）と、演算処理装置２（CAL）と、グラフィックコントロールユニット３（GCU）と、表示装置５（DISPLAY）とを有している。本実施形態では、演算処理装置２とグラフィックコントロールユニット３とは、１つのプロセッサ（システムＬＳＩ、ＤＳＰ（Digital Signal Processor）等）や、１つのＥＣＵ（Electronic Control Unit）として構成された演算処理ユニット４の一部として構成されている。当然ながら、演算処理ユニット４には、不図示のその他の機能部が含まれていてもよい。また、表示装置５（表示部）は、上述したヘッドアップディスプレイ５１及びモニタ５２を含む。
　本実施形態では、車両運転補助システム１０は、さらにセンサ群６（SEN）、ナビゲーションデータベース７（navi_db）、視点検出装置８（EP_DTCT）を有している。センサ群６は、ソナー、レーダー、車速センサ、ヨーレートセンサ、ＧＰＳ（Global Positioning System）受信機、等を含むことができる。ナビゲーションデータベース７は、地図情報、道路情報、地物情報（道路標識、道路標示、施設等の情報）が格納されたデータベースである。視点検出装置８は、例えば運転者の頭部を撮影するカメラを有して構成され、運転者の視点（目）を検出する。ヘッドアップディスプレイ５１に描画される注意画像ＭＥや推奨運転画像Ｍは、運転者の視点に応じた位置に描画されると好適である。
　後述するように、演算処理装置２は、フロントカメラ１による撮影画像を用いた画像認識により、車両１００の周辺、特に進行方向寄りに存在する１つ又は複数の障害物Ｂを特定する。障害物Ｂは、道路等に固定された物体（例えば、道路に張り出した道路標識、電柱、郵便ポスト等）に限らず、歩行者、自転車、駐停車している車両などの移動する物体や移動する可能性のある物体を含む。これらを区別する場合、固定された障害物Ｂを静的障害物、移動する障害物Ｂ（移動する可能性のある障害物Ｂ）を動的障害物と称する。特に区別することなく、障害物Ｂと称する場合には静的障害物及び動的障害物を含む。
　演算処理装置２は、障害物Ｂを特定する際、さらに、ソナー、レーダーなど、センサ群６から提供される情報も用いることで認識精度を向上させることができる場合がある。また、演算処理装置２は、障害物Ｂが動的障害物であり、移動している場合には、その移動方向や移動速度を推定する。演算処理装置２は、フロントカメラ１の撮影画像に基づき、例えばオプティカルフロー法などの公知の画像認識処理を用いて、動的障害物の移動軌跡を検出し、移動速度や未来の移動方向を予測する（推定する）。また、演算処理装置２は、障害物Ｂが動的障害物であり停止している場合には、その障害物Ｂが動く可能性があるか否かを判定し、その障害物が動く可能性がある場合はその移動方向や移動速度を推定する。
　尚、車速センサ、ヨーレートセンサ、ＧＰＳ受信機など、センサ群６から提供される情報を用いることで移動軌跡、移動速度の検出精度や、未来の移動方向や移動速度等の推定精度を向上させることができる場合がある。また、ナビゲーションデータベース７から地図情報、道路情報、地物情報（道路標識、道路標示、施設等の情報）などを取得することにより、障害物Ｂが静的障害物であるか動的障害物であるかの判定精度を向上できる場合がある。
　図３は、実線で示す車両１００の前方に自転車が車両１００と同一方向に進行している状態を示している。ここでは、この自転車は、動的障害物としての第１障害物Ｂ１である。演算処理装置２は、第１障害物Ｂ１を検出し、第１障害物Ｂ１の移動方向及び移動速度を演算する。図３に例示する形態では、第１障害物Ｂ１は、図３に一点鎖線で示す移動方向に、車両１００よりも低い移動速度で進んでいる。演算処理装置２は、さらに推定移動方向及び推定移動速度を演算し、これらに基づいて第１障害物Ｂ１が車両１００の進行に与える影響度Ｅを演算する。
　影響度Ｅは、例えば図３に示すように、移動方向が長軸と一致する楕円状の領域として設定される。影響度Ｅがこのような楕円状の場合、障害物Ｂが楕円の１つの焦点、或いは焦点よりも推定移動方向とは逆方向の外周側に位置すると好適である。動的障害物である障害物Ｂが車両１００の進行に与える影響は、障害物Ｂの進行方向側の方が大きいため、適切な影響度Ｅが設定される。また、楕円の長軸の長さは、例えば推定移動速度が高くなるに従って長くなると好適である。推定移動速度が高いほど、障害物Ｂは短い時間で長い距離を移動するため、影響度Ｅも大きくなるように設定される。
　また、影響度Ｅは段階的に変化するように設定され、障害物Ｂに近い領域における第１影響度Ｅ１は、障害物Ｂから相対的に遠い領域における第２影響度Ｅ２よりも高い影響度Ｅである。ここでは、２段階の影響度Ｅを例示しているが、当然ながら３段階以上の段階を有していてもよい。尚、後述するように、影響度Ｅは段階的な変化に限らず、連続的に変化してもよい。尚、ここでは動的障害物に対して影響度Ｅが設定される形態について説明したが、影響度Ｅは静的障害物に対しても設定されると好適である。静的障害物に対する影響度Ｅは、例えば移動方向や推定移動方向のベクトルがゼロであり、移動速度がゼロであるとすれば動的障害物と同様に演算することができる。そして、本実施形態では、注意画像ＭＥとして、この影響度Ｅを示す画像を実風景Ｓに重畳して表示する。
　ところで、動的障害物の未来の移動方向は、検出された移動方向と同一方向であるとは限らない。例えば、図４及び図５に示すように、第１障害物Ｂ１のさらに前方に第１障害物Ｂ１とは別の障害物Ｂである第２障害物Ｂ２が存在する場合がある。尚、第２障害物Ｂ２は、動的障害物であっても静的障害物であってもよい。第２障害物Ｂ２が第１障害物Ｂ１の進行に影響する場合、第１障害物Ｂ１が第２障害物Ｂ２に対する回避行動を行う可能性がある。例えば、図４において道路の端をブロック矢印で示す方向に走行する第１障害物Ｂ１（自転車）が道路の端に存在する第２障害物Ｂ２を避けて、図５に示すように（図４に一点鎖線の矢印で示すように）、道路の中央寄りに進行する可能性がある。第１障害物Ｂ１（自転車）が図５に示すように進行する場合、推定移動方向は、図３に示すように道路に沿った方向ではなく、図５に示すように道路の中央を向いた方向となる。
　推定移動方向がこのように道路の中央を向くと、図５に示すように、楕円状の影響度Ｅも道路の中央よりに張り出すことになる。図３に示すように第１障害物Ｂ１の推定移動方向が道路に沿っている場合には、一般的な車両１００の進行経路と同等の進行経路である推奨経路Ｋ（第１推奨経路Ｋ１）を車両１００が走行したとしても、推奨経路Ｋと影響度Ｅが設定される領域とが重複しない。しかし、図５に示すように第１障害物Ｂ１の推定移動方向が道路の中央を向くと、第１推奨経路Ｋ１と影響度Ｅが設定される領域とが重複する。
　好ましくは、演算処理装置２は、障害物Ｂと車両１００とが干渉する可能性が相対的に低い進行経路を推奨経路Ｋとして設定する。例えば、推奨経路Ｋは、影響度Ｅが低い領域を通るように設定される。図３に示すように、道路上において車両１００が一般的な進行経路を走行したとしても、第１障害物Ｂ１に対して設定される影響度Ｅの領域と重複しない場合には、当該一般的な進行経路である直進経路（第１推奨経路Ｋ１）が推奨経路Ｋとして設定される。一方、道路上において車両１００が一般的な進行経路（第１推奨経路Ｋ１）を走行すると、図５に破線で示すように、第１障害物Ｂ１に対して設定される影響度Ｅの領域と重複する可能性がある場合には、図５に実線で示すように、当該影響度Ｅが設定される領域を避ける経路（第２推奨経路Ｋ２）が推奨経路Ｋとして設定される。
　即ち、演算処理装置２は、動的障害物（例えば第１障害物Ｂ１）の進路が、別の障害物（例えば第２障害物Ｂ２）の存在によって変化する可能性に応じて、異なる領域に影響度Ｅの範囲を設定する。尚、注意画像ＭＥは、それに応じて表示される領域を異ならせて表示される。また、演算処理装置２は、このような影響度Ｅに基づき、必要に応じて異なる推奨経路Ｋを設定する。後述するように、演算処理装置２は、動的障害物及び静的障害物の影響度Ｅを演算し、例えば後述するポテンシャル法（Potential Method）等を用いて影響度Ｅが低い領域を通るように推奨経路Ｋを演算する。
　例えば、演算処理装置２は、動的障害物（例えば第１障害物Ｂ１）の進路が、別の障害物（例えば第２障害物Ｂ２）の存在によって変化する可能性が低い場合（例えば予め規定された進路変化可能性しきい値未満の場合）には、図３に示したように、注意画像ＭＥを表示させる。一方、演算処理装置２は、動的障害物（例えば第１障害物Ｂ１）の進路が、別の障害物（例えば第２障害物Ｂ２）の存在によって変化する可能性が高い場合（例えば進路変化可能性しきい値以上の場合）には、図４に示すように、動的障害物（例えば第１障害物Ｂ１）の進路が実際に変化していなくても、変化すると予想される進路に応じた領域に注意画像ＭＥを表示させる。
　当然ながら、動的障害物（例えば第１障害物Ｂ１）の進路が、別の障害物（例えば第２障害物Ｂ２）の存在によって実際に変化した場合には、図５に示すように注意画像ＭＥを表示させる。また、このように、動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、異なる領域に影響度Ｅの範囲が設定されると、例えば動的障害物（例えば第１障害物Ｂ１）の進路が、別の障害物の存在によって急に変化した場合においても、迅速に変化後の動的障害物（例えば第１障害物Ｂ１）の進路に応じた注意画像ＭＥを表示されることになる。尚、進路変化可能性しきい値は、固定値であってもよいし、車両１００の周辺の状況や車両１００の走行速度等に応じて変化する可変値であってもよい。
　上述したように、車両運転補助システム１０は、運転者に対して、運転を補助する情報を提供するシステムであり、本実施形態では、実風景Ｓに注意画像ＭＥや推奨運転画像Ｍを重畳して表示させることによって運転を補助する情報を運転者に提供する。図８～図１０等を参照して後述するように、注意画像ＭＥは、移動する１つ又は複数の障害物Ｂである動的障害物の進路に応じて表示される領域を示す画像である。推奨運転画像Ｍは、推奨経路画像ＭＫと推奨速度画像ＭＶとを含む画像である。推奨経路画像ＭＫは、車両１００の進行方向に存在する１つ又は複数の障害物Ｂと干渉する可能性が相対的に低い進行経路である推奨経路Ｋを示す画像である。また、推奨速度画像ＭＶは、車両１００が推奨経路Ｋを走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す画像である。
　尚、図８～図１０には、注意画像ＭＥ及び推奨運転画像Ｍが表示されている形態を例示しているが、車両運転補助システム１０は、少なくとも注意画像ＭＥを表示装置５に表示させるものであればよい。つまり、推奨運転画像Ｍは、必ずしも表示装置５に表示されなくてもよい。障害物Ｂによる影響度Ｅを示す注意画像ＭＥが表示されることによって、運転者は障害物Ｂに対して注意を向け、能動的に障害物Ｂを回避するような運転操作を行うことが可能となる。車両運転補助システム１０は、図３～図５を参照して説明したように、動的障害物（例えば第１障害物Ｂ１）の進路が、別の障害物Ｂ（例えば第２障害物Ｂ２）の存在によって変化する可能性に応じて、注意画像ＭＥが表示される領域を異ならせて表示装置５に表示する。
　図６のフローチャートに示すように、車両運転補助システム１０は、まずフロントカメラ１により撮影された車両１００の進行方向の風景の撮影画像を取得する（＃１：撮影画像取得ステップ、撮影画像取得機能）。車両運転補助システム１０は、次に、撮影画像の中から車両１００が干渉する可能性がある障害物Ｂを画像認識する（＃２：障害物検出ステップ（障害物認識ステップ）、障害物検出機能（障害物認識機能））。上述したように、障害物Ｂは、画像認識のみに限らず、センサ群６の検出結果を利用するその他の方式も用いて検出されてもよい。
　障害物Ｂが検出されると、車両運転補助システム１０は、その内の動的障害物の影響度Ｅを演算すると共に、推奨経路Ｋと推奨経路Ｋを進む推奨速度指標を演算する（＃４：推奨経路演算ステップ、推奨経路演算機能）。上述したように、この際、ナビゲーションデータベース７から地図情報等を取得しておき、道路幅や交差点の有無等も考慮して推奨経路Ｋや推奨速度指標を演算することも好適である。図６には、推奨経路演算ステップ＃４に先行して、ナビゲーションデータベース７の情報を参照するデータベース参照ステップ＃３（データベース参照機能）が実行される形態を例示している。
　推奨経路演算ステップ＃４（推奨経路演算機能）では、一般的に想定される車両１００の進行経路（図３～図５に示す第１推奨経路Ｋ１）が演算されている。また、推奨経路演算ステップ＃４では、さらに、障害物Ｂ等を避けて通るような進行経路（例えば図４及び図５に実線で示す第２推奨経路Ｋ２）を演算することも可能である。本実施形態では、推奨経路演算ステップ＃４においてそのような推奨経路Ｋを演算するために、障害物Ｂが車両１００の走行に与える影響について判定される。図７のフローチャートは、その一例を示している。
　図７に示すように、障害物認識ステップ＃１で検出された障害物Ｂ（動的障害物及び静的障害物を含む）に動的障害物（Ｂｄ）が含まれているか否かが判定される（＃４１）。検出された障害物Ｂに動的障害物が含まれる場合には、検出された障害物Ｂが複数存在するか否か（障害物Ｂの数Ｎｏｂｓが２以上か否か）が判定される（＃４２）。障害物Ｂが複数存在する場合、動的障害物の移動に対して他の障害物Ｂ（動的障害物及び静的障害物を含む）が影響を与える可能性があるか否かが判定される（＃４３）。
　この際、例えば、動的障害物の移動に対して他の障害物Ｂが影響を与える可能性は、「進路変化可能性」として数値で演算される。また、「進路変化可能性」と共に、動的障害物の進路変化の方向も演算される。この進路変化の方向は、例えば、動的障害物の挙動に基づいて演算可能な複数の方向の内、最も可能性の高い方向が選択される。そして、ステップ＃４３では、例えば、演算された進路変化可能性が進路変化可能性しきい値以上の場合に、動的障害物の移動に対して他の障害物Ｂが影響を与える可能性があると判定され、影響フラグＩＮＦＬが有効状態に設定される。進路変化可能性が進路変化可能性しきい値未満の場合には、可能性がないと判定され、影響フラグＩＮＦＬが無効状態に設定される（無効状態のまま維持される）。
　別の判定基準として、例えば、図４及び図５に示すように、一般的に想定される車両１００の進行経路（第１推奨経路Ｋ１）と影響度Ｅの領域とが重複する場合に、影響フラグＩＮＦＬが有効状態に設定されてもよい。ステップ＃４３において影響フラグＩＮＦＬが有効（＝Ｔｒｕｅ）であると判定されると、推奨経路Ｋの設定や表示装置５に表示される画像の設定が第２モード（ｍｏｄｅ：Ｂ）の条件で実行される（＃４４）。例えば、図４及び図５に実線で示すように障害物Ｂの影響を避けて一般的な推奨経路Ｋ（第１推奨経路Ｋ１）とは異なる第２推奨経路Ｋ２が推奨経路Ｋとして設定される。或いは、第１推奨経路Ｋ１を走行する際の推奨走行速度を低下させるなど、第１障害物Ｂ１と車両１００とが干渉する可能性を低減させるような推奨速度指標が設定される。
　検出された障害物Ｂの何れもが車両１００の進行に影響を与えない場合には、影響フラグＩＮＦＬは無効状態である。ステップ＃４３において影響フラグが無効（＝Ｆａｌｓｅ）と判定されると、推奨経路Ｋの設定や表示装置５に表示される画像の設定が第１モード（ｍｏｄｅ：Ａ）の条件で実行される（＃４５）。例えば、図３に示すように障害物Ｂの影響を避ける必要はなく、一般的な進行経路（第１推奨経路Ｋ１）が推奨経路Ｋに設定される。尚、ステップ＃４１において障害物Ｂに動的障害物（Ｂｄ）が含まれていないと判定された場合、ステップ＃４２において障害物Ｂの数Ｎｏｂｓが２未満（１又はゼロ）と判定されている場合も、推奨経路Ｋの設定や表示装置５に表示される画像の設定が第１モード（ｍｏｄｅ：Ａ）の条件で実行される。
　本実施形態では、車両運転補助システム１０は、実風景Ｓに注意画像ＭＥを重畳して表示する。注意画像ＭＥは、図３及び図５を参照して説明した影響度Ｅの領域を表す画像である。影響度Ｅは、推奨経路演算ステップ＃４において演算されており、車両運転補助システム１０は、推奨経路演算ステップ＃４に続いて注意画像ＭＥを生成する画像生成ステップ＃５（画像生成機能）及び注意画像ＭＥを表示装置５に出力する画像出力ステップ＃６（画像出力機能）を実行する。
　図４～図７を参照して説明したように、障害物Ｂに動的障害物が含まれる場合には、他の障害物Ｂとの関係で動的障害物の進路が異なる可能性があり、その可能性に応じて推奨経路Ｋの設定や画像の設定を行う条件が選択される。車両運転補助システム１０は、動的障害物の進路が、動的障害物とは別の障害物Ｂの存在によって変化する可能性に応じて、注意画像ＭＥが表示される領域を異ならせて表示装置５に表示する。
　画像出力ステップ＃６では、例えば視点検出装置８の検出結果等も利用して、実風景Ｓにおける障害物Ｂの位置に対応して注意画像ＭＥが表示されるように、注意画像ＭＥが出力される。当然ながら、画像生成ステップ＃５において注意画像ＭＥを生成する際に、運転者の視点を考慮して実風景Ｓにおける障害物Ｂの位置に対応させて注意画像ＭＥを生成してもよい。また、モニタ５２の表示形態に合わせて注意画像ＭＥを生成して表示させてもよい。
　上述したように、本実施形態では、車両運転補助システム１０は、推奨経路演算ステップ＃４において推奨経路Ｋ及び推奨速度指標も演算し、画像生成ステップ＃５において推奨経路画像ＭＫ及び推奨速度画像ＭＶを含む推奨運転画像Ｍも生成し、画像出力ステップ＃６においてこれらの画像も表示装置５に出力する。図８等を参照して後述するように、推奨経路画像ＭＫと推奨速度画像ＭＶとは、互いに対応付けられている。
　車両運転補助方法は、車両運転補助システム１０を構成するハードウェアやソフトウェアを利用し、上述したような各ステップを実行して運転補助を実現する方法ということができる。また、車両運転補助システム１０に含まれるコンピュータ（例えば図２を参照して後述する演算処理ユニット４など）は、上述したような各機能を実現するプログラムを実行する。
　図８～図１０は、実風景Ｓに注意画像ＭＥ及び推奨運転画像Ｍが重畳された一例を示している。注意画像ＭＥ及び推奨運転画像Ｍは、実風景Ｓにおける障害物Ｂの位置に対応して表示されており、運転者に障害物Ｂの存在や運転に影響を与える可能性についての認知を促し、障害物Ｂとの関係で運転者が車両１００をどのように運転すれば良いかを適切に案内できるようになっている。
　図８は、図３において実線で示す位置に車両１００が存在する場合の実風景Ｓに注意画像ＭＥ及び推奨運転画像Ｍを重畳した表示装置５を例示している。車両運転補助システム１０は、図８中に破線で囲った部分に障害物Ｂが存在することを検出している。ここでは、第１障害物Ｂ１、第３障害物Ｂ３、第４障害物Ｂ４の３つの障害物Ｂが検出されており、これらは全て動的障害物である。第１障害物Ｂ１は自転車に乗った人であり、第３障害物Ｂ３及び第４障害物Ｂ４は歩行者である。第３障害物Ｂ３は、立っている歩行者又は散歩等でゆっくり歩いている歩行者である。第４障害物Ｂ４は、早足で又は駆け足で進んでいる歩行者である。
　車両運転補助システム１０は、図８に例示する形態では、車両１００に最も近い第１障害物Ｂ１に関する影響度Ｅに基づいて、第１障害物Ｂ１に関する注意画像ＭＥを表示する。つまり、注意画像ＭＥは、動的障害物と車両１００とが干渉する可能性のある領域を示す画像である。ここでは１つの障害物Ｂを対象としたが、注意画像ＭＥは、複数の障害物Ｂに関して表示されてもよい（複数の形態は図１４を参照して後述する。）。例えば、車両１００から予め規定された範囲内に存在する障害物Ｂや、車両１００の推奨経路Ｋに対して予め規定された速度以上で接近する障害物Ｂに関して注意画像ＭＥが表示されると好適である。
　段階的に設定される影響度Ｅに対応し、注意画像ＭＥは、動的障害物が車両１００の進行に与える影響度Ｅを段階的に示す表示形態で表示される。ここでは、第１影響度Ｅ１に対応する第１注意画像ＭＥ１と、第２影響度Ｅ２に対応する第２注意画像ＭＥ２が表示されている。例えば、より第１障害物Ｂ１に近い第１注意画像ＭＥ１は白色や黄色で表示され、第２注意画像ＭＥ２は橙色や赤色で表示されると好適である。第１注意画像ＭＥ１及び第２注意画像ＭＥ２の色彩は、認知工学などに基づき、車両１００との相対速度等も考慮して、車両１００と障害物Ｂとの距離が短いほど注意を喚起する色彩であると好適である。第１注意画像ＭＥ１の白色や黄色に比べて、第２注意画像ＭＥ２の橙色や赤色は、一般的に注意が必要であることを運転者に想起させる。
　第１障害物Ｂ１としての自転車は、この時点では真っ直ぐに進んでいるが、車道側に急に進路変更したり、転倒したりする可能性もある。第１障害物Ｂ１に対してこのように注意画像ＭＥが表示されることにより、運転者は第１障害物Ｂ１の存在を認知し、その動向に注意して運転操作を行うことができる。
　このように注意画像ＭＥの表示によって運転者の運転操作を補助することが可能であるが、本実施形態では、車両運転補助システム１０は、注意画像ＭＥに加え、さらに推奨経路画像ＭＫ及び推奨速度画像ＭＶも実風景Ｓに重畳して表示する。図３から図５を参照して上述したように、車両運転補助システム１０は、障害物Ｂが車両１００の進行に影響すると推定される領域（影響度Ｅが設定されている領域）を可能な限り避けるように、推奨経路Ｋを設定する。つまり、車両１００の進行方向に存在する障害物Ｂと車両１００とが干渉する可能性が相対的に低い進行経路が推奨経路Ｋとして設定される。
　第１障害物Ｂ１が真っ直ぐ進行する場合には、図３に実線で示すように、推奨経路Ｋとして一般的に推奨される進行経路（第１推奨経路Ｋ１）を設定することができる。図８には、この推奨経路Ｋに対応して、道路上を直進する経路を示すように推奨経路画像ＭＫが表示される形態を例示している。推奨経路画像ＭＫは、推奨速度画像ＭＶと対応付けられて表示される。本実施形態では、推奨速度画像ＭＶは、推奨経路画像ＭＫの表示領域に表示され、推奨経路画像ＭＫと一体となった推奨運転画像Ｍとして表示される。
　推奨運転画像Ｍ（推奨経路画像ＭＫ）は、推奨経路Ｋに沿って複数の単位画像ＵＭが配列されて形成されている。例えば、推奨速度画像ＭＶは、推奨経路Ｋに沿って並んだ単位画像ＵＭの色彩を異ならせることによって表現することができる。図８に例示した形態では、影響度Ｅが設定される領域と推奨経路Ｋとが重複しないため、運転者に対して例えば徐行等の速度調整を促す必要がない。このため、全ての単位画像ＵＭは一般的な速度での進行を許容する第１単位画像Ｍ１（例えば、白色や青色）で表示されている。
　図９は、図４において実線で示す位置に車両１００が存在する場合の実風景Ｓに注意画像ＭＥ及び推奨運転画像Ｍを重畳した表示装置５を例示している。車両運転補助システム１０は、図９中に破線で囲った部分に障害物Ｂが存在することを検出している。ここでは、さらに歩行者である第２障害物Ｂ２も含めて、４つの障害物Ｂが検出されており、これらは全て動的障害物である。
　図４及び図５を参照して上述したように、第１障害物Ｂ１としての自転車は、歩行者である第２障害物Ｂ２を避けて通るために、道路の中央に向かって進路を変更する可能性がある。このため図４に示すように、第１障害物Ｂ１としての自転車が進路を変更することなく直進していても、第１障害物Ｂ１の推定移動方向は道路の中央に向かって偏位し、影響度Ｅの領域も推定移動方向に沿って道路の中央に向かって張り出すように設定されている。車両運転補助システム１０は、第１障害物Ｂ１に関する影響度Ｅに基づいて、第１障害物Ｂ１に関する注意画像ＭＥを表示する。つまり、図８に例示する注意画像ＭＥに比べて、図９に例示する注意画像ＭＥは、道路の中央に張り出すように表示される。運転者は、このような注意画像ＭＥが表示されることによって、第１障害物Ｂ１の存在を認知すると共に、第１障害物Ｂ１が、車両１００の進行に影響するような位置にはみ出してくる可能性を認知して、その動向に注意して運転操作を行うことができる。
　尚、当然ながら、図５を参照して上述したように、第１障害物Ｂ１としての自転車が実際に進路を変更した場合にも、第１障害物Ｂ１の推定移動方向は道路の中央に向かって偏位し、影響度Ｅの領域も推定移動方向に沿って道路の中央に向かって張り出すように設定される。図１０は、図５において実線で示す位置に車両１００が存在する場合の実風景Ｓに注意画像ＭＥ及び推奨運転画像Ｍを重畳した表示装置５を例示している。車両運転補助システム１０は、図１０中に破線で囲った部分に障害物Ｂが存在することを検出している。ここでも、４つの障害物Ｂが検出されており、これらは全て動的障害物である。
　図９及び図１０にも、注意画像ＭＥに加え、さらに推奨経路画像ＭＫ及び推奨速度画像ＭＶが実風景Ｓに重畳して表示される形態を例示している。図４及び図５を参照して上述したように、車両運転補助システム１０は、障害物Ｂが車両１００の進行に影響すると推定される領域（影響度Ｅが設定されている領域）を可能な限り避けるように、推奨経路Ｋを設定する。図４及び図５には、運転補助の概念を説明するために、第１障害物Ｂ１を大きく迂回する第２推奨経路Ｋ２が設定される形態を例示した。しかし、車両１００が通行する道路幅等によっては、このように障害物Ｂを迂回する経路が設定できない場合がある。図９及び図１０は、そのように第１障害物Ｂ１を迂回した第２推奨経路Ｋ２を設定することができず、第１推奨経路Ｋ１を推奨経路Ｋとした場合の推奨経路画像ＭＫ及び推奨速度画像ＭＶを例示する。
　図８に例示した形態と同様に図９及び図１０においても、推奨運転画像Ｍ（推奨経路画像ＭＫ）は、推奨経路Ｋに沿って複数の単位画像ＵＭが配列されて形成されている。図８に例示した形態も、図９及び図１０に例示する形態も、推奨経路Ｋは第１推奨経路Ｋ１であるから、単位画像ＵＭの配列は、図８と図９と図１０とで同様である。但し、推奨速度（推奨速度指標）については、第１障害物Ｂ１の推定移動方向の変化に伴って変化している。例えば、推奨速度画像ＭＶは、推奨経路Ｋに沿って並んだ単位画像ＵＭの色彩を異ならせることによって表現することができる。図９及び図１０に例示した形態では、影響度Ｅが設定される領域と推奨経路Ｋとが重複するため、運転者に対して例えば減速や徐行等を促すと好ましい。このため、進行方向に沿って車両１００の推奨速度が低下している。
　図９及び１０には、第１障害物Ｂ１よりも車両１００が後方に位置する領域に配置される単位画像ＵＭが第１単位画像Ｍ１（例えば、白色や青色）で表示され、車両１００が第１障害物Ｂ１と並ぶ領域（注意画像ＭＥと推奨運転画像Ｍとが重複する領域）に配置される単位画像ＵＭが第２単位画像Ｍ２（例えば、黄色）で表示される形態を例示している。また、車両１００が第１障害物Ｂ１を追い越して第１障害物Ｂ１よりも前方に位置する領域に配置される単位画像ＵＭは、第１単位画像Ｍ１（例えば、白色や青色）で表示される。
　注意画像ＭＥの色彩と同様に、第１単位画像Ｍ１及び第２単位画像Ｍ２の色彩は、認知工学的などに基づき、推奨速度が低いほど注意を喚起する色彩であると好適である。第１単位画像Ｍ１の白色や青色に比べて、第２単位画像Ｍ２の黄色は、一般的に、人により注意が必要であることを想起させる。また、推奨速度画像ＭＶは、推奨経路Ｋ上の各地点での推奨速度指標を表示することによって、推奨経路画像ＭＫと対応付けられて表示されている。例えば車両１００に推奨される走行速度は、推奨経路Ｋ上の各地点によって異なる。推奨経路Ｋ上の各地点での推奨速度指標を推奨経路画像ＭＫに対応付けて表示することで、運転者に対して、推奨経路Ｋをどのような走行速度で走行すれば適切であるかの情報を分かりやすく報知することができる。
　図３～図１０を参照して上述したように、本実施形態の車両運転補助システム１０においては、注意画像ＭＥが表示される領域が、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性のない場合と、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がある場合とで異なる。具体的には、図３と図４との比較、及び図８と図９との比較により明らかなように、動的障害物の進路（推定移動方向）が動的障害物とは別の障害物Ｂの存在によって変化する可能性がある場合、注意画像ＭＥは、当該変化した進路に応じた領域に表示される。
　ところで、注意画像ＭＥは、運転者に注意を促すための画像であるから、動的障害物が進行することのできない領域には設定する必要はない。例えば、図１１に例示するように、ガードレールＧや生け垣などによって、検出された歩行者や自転車などの障害物Ｂが通行する領域と、車両１００が通行する領域とが分離可能な場合には、不要な箇所の注意画像ＭＥを除外してもよい。つまり、車両１００及び動的障害物が進行する道路の構造に応じて、車両１００の進行経路に動的障害物が干渉する可能性のない領域を除外して、注意画像ＭＥが表示されると好適である。
　このような道路の構造は、例えばフロントカメラ１による撮影画像に基づく画像認識によって特定することができる。さらに、ナビゲーションデータベース７から取得した地図情報、道路情報、地物情報（道路標識、道路標示、施設等の情報）に基づき、ガードレールＧや生け垣などを特定してもよい。また、車両１００の側方の物体を検出するソナーやレーダーなど、センサ群６の検出結果に基づいて画像認識を補助したり、ガードレールＧや生け垣などを特定したりしてもよい。
　上記においては、１つの動的障害物に対する注意画像ＭＥのみが表示される形態を例示して説明したが、当然ながら複数の動的障害物に対する注意画像ＭＥが表示されてもよい。動的障害物が複数存在し、それぞれの動的障害物に対して注意画像ＭＥが表示される場合には、複数の注意画像ＭＥが重複する重複領域が存在することがある。図１２は、第１障害物Ｂ１（自転車）と第４障害物Ｂ４（歩行者）とが互いの推定移動方向が直交する状態で接近する場合の、注意画像ＭＥの基礎となる影響度Ｅを例示している。図１２に示すように、第１障害物Ｂ１の影響度Ｅの領域と、第４障害物Ｂ４の影響度Ｅの領域とが重複する場合、重複した領域は、影響度Ｅが高い側に応じた領域として設定されると好適である。従って、影響度Ｅに対応して表示されるそれぞれの注意画像ＭＥも、重複領域における影響度Ｅが最も高い注意画像ＭＥの影響度Ｅを重複領域の影響度Ｅとして表示されると好適である。
　ところで、推奨経路Ｋは、影響度Ｅが低い領域を通るように設定されている。影響度Ｅは、車両１００が走行可能な範囲（例えば道路上）において、走行に関するコストとして演算することができる。例えば、障害物Ｂの存在位置やその周辺（例えば第１影響度Ｅ１の領域）では高いコストとなり、障害物Ｂ等が存在せず、円滑に車両１００が走行できる位置では低いコストとなる。また、撮影画像の範囲内における進行経路上の目的地のコストは最も低い値（例えばゼロ）に設定される。
　車両運転補助システム１０は、現在地から目的地まで、コストの低い地点を通る最短コースを演算することで、推奨経路Ｋを演算することができる。単純にコストの最も低い地点を通るコースを設定すると距離が長くなる場合がある。従って、車速（所要時間）等も考慮して、推奨経路Ｋが演算される。この演算方法では、コストの低い方向への経路を演算していくので、比較的演算負荷が軽くなる。尚、障害物Ｂの数が多く、車両１００が停止する方が好ましいような場合もある。このような場合に備えて、経路を遮断可能なコストの上限値も設定されていると好適である。図１３には、複数の障害物Ｂに対して、複数の影響度Ｅの領域が設定さている状態を例示している。車両運転補助システム１０は、影響度Ｅに基づき、コストの低い地点を通る最短コースを演算することで、推奨経路Ｋを演算する。推奨経路画像ＭＫは、影響度Ｅが低い領域を通るように表示されることになる。
　以上、簡単に説明したが、このように三次元空間において障害物Ｂを回避して自律動作するような技術としては、例えばポテンシャル法（Potential Method）が知られている。ポテンシャル法については公知であるので、詳細な説明は省略するが、例えば現在地や目標位置（目的地）や障害物Ｂの存在位置にポテンシャル関数を定義して、その勾配を進行方向とすることで、推奨経路Ｋを演算することができる。尚、勾配は座標成分ごと（例えば三次元直交座標系であればｘ、ｙ、ｚ軸ごとなど。）の偏微分によって求めることができる。目的地へのポテンシャル勾配は、誘因方向に働き、推奨経路Ｋの進行方向が目的地へ向かう。一方、障害物Ｂのポテンシャル勾配は、反発方向に働き、推奨経路Ｋは障害物Ｂを避けるように設定される。ポテンシャル関数は観測情報（撮影画像やセンサ群６の検出結果など）に基づいてリアルタイムに更新可能であり、これにより、各時点での適切な推奨経路Ｋを演算することができる。
　障害物Ｂにポテンシャル関数を定義した場合、影響度Ｅはポテンシャル勾配に応じて設定することができる。図３～図５等を参照して、影響度Ｅが段階的に設定される形態を例示したが、影響度Ｅは連続的に変化する形態であってもよい。また、例えば連続的に変化するポテンシャル勾配などのパラメータにしきい値を設定して段階的に表現してもよい。影響度Ｅに基づく注意画像ＭＥについても同様であり、図８～図１０等には、段階的に異なる色彩で表示される形態を例示した。しかし、連続的に色彩を変化させてもよい。また、連続的に変化する影響度Ｅにしきい値を設定して注意画像ＭＥを段階的に表現してもよい。
　図１４は、図１２に例示したように、第１障害物Ｂ１（自転車）と第４障害物Ｂ４（歩行者）とが互いの推定移動方向が直交する状態で接近する場合に、注意画像ＭＥを実風景Ｓに重畳した表示装置５を示している。第１障害物Ｂ１に対する第２注意画像ＭＥ２と第４障害物Ｂ４に対する第１注意画像ＭＥ１とが重複する領域では、相対的に高い第１影響度Ｅ１に対応する第１注意画像ＭＥ１が表示されている。
　図１４には、図８～図１０と同様に、推奨運転画像Ｍも重畳される形態を示している。図１４に示すように、車両１００の前方、つまり進行経路は、注意画像ＭＥで塞がれている。つまり、車両１００の進行経路は、影響度Ｅが設定された領域によって塞がれている。このため、例えば推奨速度は、通常よりも１段階低く設定され、推奨運転画像Ｍは、注意画像ＭＥと重複していない領域でも、徐行を表す第２単位画像Ｍ２（例えば黄色）で表示される。また、注意画像ＭＥ（第２注意画像ＭＥ２）と重複する領域では、最徐行或いは停止を促すように、第３単位画像（例えば赤色）で推奨運転画像Ｍが表示される。さらに、図１４では、２つの第１注意画像ＭＥ１が近接する位置において、推奨運転画像Ｍが途切れている。これにより、例えば、互いに異なる方向から車両１００に近づく第１障害物Ｂ１及び第４障害物Ｂ４の双方に注意するために、停止に近い速度まで車両１００の速度を低下させることが好ましいことが運転者に報知される。
〔その他の実施形態〕
　以下、その他の実施形態について説明する。尚、以下に説明する各実施形態の構成は、それぞれ単独で適用されるものに限られず、矛盾が生じない限り、他の実施形態の構成と組み合わせて適用することも可能である。
（１）上記においては、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がある場合に、当該変化する進路に応じた領域に注意画像ＭＥが表示される形態を例示した。しかし、動的障害物の進路が、別の障害物Ｂの存在によって変化する可能性に応じて、注意画像ＭＥが表示される領域が異なれば、変化する進路に対応していなくてもよい。
　例えば、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がほとんどない場合（例えば進路変化可能性しきい値未満の場合）には注意画像ＭＥを表示せず、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がある場合（例えば進路変化可能性しきい値以上の場合）には注意画像ＭＥを表示する形態であってもよい。また、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がほとんどない場合（例えば進路変化可能性しきい値未満の場合）には第１注意画像ＭＥ１のみを表示し、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がある場合（例えば進路変化可能性しきい値以上の場合）には当該第１注意画像ＭＥ１に加えてさらに第２注意画像ＭＥ２を表示する形態であってもよい。尚、この第２注意画像ＭＥ２は、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がほとんどない場合の推定移動方向に基づく第２影響度Ｅ２に応じたものでよい。注意画像ＭＥが表示される領域が広がることで、運転者に対してより注意を要することを報知することができる。
（２）尚、動的障害物の進路が別の障害物Ｂの存在によって変化する可能性がある場合（例えば進路変化可能性しきい値以上の場合）に、当該変化する進路に応じた領域に注意画像ＭＥを表示する形態においても、その他の実施形態（１）のように表示させてもよい。つまり、車両運転補助システム１０は、進路が変化する可能性がほとんどない場合（例えば進路変化可能性しきい値未満の場合）には、注意画像ＭＥを表示せず、進路が変化する可能性がある場合（例えば進路変化可能性しきい値以上の場合）には当該変化する進路に応じた領域に注意画像ＭＥを表示してもよい。また、車両運転補助システム１０は、進路が変化する可能性がほとんどない場合（例えば進路変化可能性しきい値未満の場合）には第１注意画像ＭＥ１のみを表示し、変化する可能性がある場合（例えば進路変化可能性しきい値以上の場合）には当該変化する進路に応じた領域に第１注意画像ＭＥ１及び第２注意画像ＭＥ２を表示させてもよい。
（３）上記においては、図８～図１０、図１４等を参照して、単位画像ＵＭを推奨経路Ｋに沿って配列することで、推奨経路画像ＭＫを表す形態を例示した。しかし、推奨経路画像ＭＫが連続した線状に形成されていてもよい。
（４）上記においては、図９、図１０、図１４等を参照して、色彩を異ならせることによって推奨速度指標の違いを表現する形態を例示した。推奨経路画像ＭＫが複数の単位画像ＵＭを有する形態であっても、その他の実施形態（３）で説明したような連続した線状の形態であっても、推奨速度画像ＭＶは、推奨運転画像Ｍの色彩、形状、及び動きの少なくとも１つが、走行速度などの推奨速度指標に応じて異なる態様で表示される形態とすることができる。
（４－１）上記においては、図９、図１０、図１４等を参照して、それぞれ色彩の異なる単位画像ＵＭを推奨経路Ｋに沿って配列することで、色彩のグラデーションを表現する形態を例示した。しかし、例えば、推奨経路画像ＭＫが連続した線状に形成されており、１つの連続した画像の中で色彩が変化する形態であってもよい。
（４－２）また、推奨経路画像ＭＫが複数の単位画像ＵＭを有する場合には、複数の単位画像ＵＭの配置形態を異ならせることによって、推奨速度画像ＭＶを表してもよい。複数の単位画像ＵＭが配置される間隔を、走行速度などの推奨速度指標に応じて異ならせることによって、配置形態の違いによる推奨速度画像ＭＶが実現できる。単位画像ＵＭの間隔を単位時間で車両１００が進む距離に対応させて考えると、相対的に間隔の短い場合には車両１００の走行速度が低いことになり、運転者に徐行運転を促すことができる。
（４－３）また、推奨速度画像ＭＶの動きが車両１００の走行速度などの推奨速度指標に応じて異なる態様で表示されてもよい。例えば、単位画像ＵＭが推奨経路Ｋに沿って進行方向へ移動する移動速度を、走行速度などの推奨速度指標に応じて異ならせることによって、推奨速度画像ＭＶを表してもよい。単位画像ＵＭの移動速度を車両１００の走行速度に対応させて考えると、相対的に移動速度Ｖが遅い場合には車両１００の走行速度が低いことになり、運転者に徐行運転を促すことができる。
　尚、推奨速度画像ＭＶの動きを車両１００の走行速度などの推奨速度指標に応じて異なる態様で表示させる場合においても、推奨経路画像ＭＫは、連続した線状に形成されていてもよい。例えば、１つの推奨経路画像ＭＫが推奨経路Ｋに沿って移動してもよいし、連続した線状の推奨経路画像ＭＫがスイープする形態（手前から順に消えていき、推奨経路Ｋの先端に達すると再度描画されることを繰り返すような形態）であってもよい。
（４－４）推奨経路画像ＭＫが単位画像ＵＭの配列で表示される場合、それぞれの単位画像ＵＭの形状を走行速度などの推奨速度指標に応じて異ならせることで推奨速度画像ＭＶが表示されてもよい。例えば、各単位画像ＵＭを、先端部が推奨経路Ｋに沿った矢印状となった五角形状に形成する。それぞれの単位画像ＵＭは、進行方向に向かった先端部が有する角度（内角）が、走行速度が遅くなるに従って大きくなるように形成されている。例えば、最も先端部の角度が大きい単位画像ＵＭの先端部は直線状となる。つまり、最も遅い速度（例えばゼロ）に対応する単位画像ＵＭでは、矢印部分がない長方形状に形成される。この単位画像ＵＭにより、例えば車両１００を停止させることを推奨する画像を表現することができる。
　尚、１つの推奨経路画像ＭＫが連続した線状に形成されている場合に、当該１つの推奨経路画像ＭＫの形状を変化させてもよい。例えば、連続した線状の１つの推奨経路画像ＭＫの先端部を矢印状に尖った形状とし、当該先端部の形状を異ならせることによって走行速度などを表現してもよい。この場合、推奨される走行速度が速い場合には先端部が尖り、推奨される走行速度が遅くなるに従って先端部の角度が大きくなる（先鋭度が下がって平らになる）と好適である。
（５）上記においては、推奨速度画像ＭＶが示す走行速度指標が車両１００に推奨される走行速度（絶対速度）である形態を例示した。つまり、推奨速度画像ＭＶが、車両１００の絶対速度に対応した表示形態で表示される形態を例示した。しかし、走行速度指標は、推奨経路Ｋを車両１００が走行する場合に推奨される走行速度に関連する指標であれば、絶対速度に限定されるものではない。例えば、走行速度指標は、車両１００に推奨される減速加速度及び車両１００に許容される増速加速度を含む車両１００の加速度であってもよい。従って、推奨速度画像ＭＶは、車両１００に推奨される減速加速度及び車両１００に許容される増速加速度を含む車両１００の加速度に対応した表示形態で表示されてもよい。
（６）上記においては、推奨速度画像ＭＶが、推奨経路画像ＭＫの表示領域に表示される形態を例示して説明したが、推奨経路画像ＭＫと推奨速度画像ＭＶとが互いに対応付けられて表示されていれば、推奨速度画像ＭＶが推奨経路画像ＭＫの表示領域外に表示される形態を妨げるものではない。例えば、連続した矢印状の推奨経路画像ＭＫの横に、推奨速度を数値で示す推奨速度画像ＭＶが添えられる形態であってもよい。推奨経路画像ＭＫの横に添えられる推奨速度画像ＭＶは、数値に限らず、色彩や形状や動きによって推奨速度指標を表現できるものであればよい。例えば、推奨経路画像ＭＫに沿った側線の色彩のグラデーションや、側線の動き等によって推奨速度指標を表現してもよい。
〔実施形態の概要〕
　以下、上記において説明した車両運転補助システム（１０）、車両運転補助方法、車両運転補助プログラムの概要について簡単に説明する。
　この車両運転補助システム（１０）は、
　実風景（Ｓ）に注意画像（ＭＥ）を重畳して表示する表示部（５）を備え、
　前記注意画像（ＭＥ）は、移動する１つ又は複数の障害物（Ｂ）である動的障害物（Ｂ）の進路に応じて注意喚起を示す領域を有する画像であり、
　前記動的障害物（Ｂ）の進路が、別の障害物（Ｂ）の存在によって変化する可能性に応じて、前記注意喚起を示す領域が異なる。
　注意画像（ＭＥ）を表示することにより、運転者に動的障害物（Ｂ）の存在を適切に報知することができる。また、別の障害物（Ｂ）によって動的障害物（Ｂ）の進路が変化するか否かに応じて異なる領域に注意画像（ＭＥ）を表示することによって、運転者に動的障害物（Ｂ）の進路が変化する可能性のあることを報知することができる。これにより、運転者は、さらに動的障害物（Ｂ）に注意を払って運転操作を行うことができる。このように本構成によれば、車両（１００）の周辺の複数の障害物（Ｂ）の相関関係も考慮して、移動する障害物（Ｂ）を回避して走行するための情報を適切に運転者に報知することができる。
　ここで、前記注意画像（ＭＥ）は、前記動的障害物（Ｂ）と車両（１００）とが干渉する可能性のある領域を示すと好適である。
　このように注意画像（ＭＥ）が表示されると、運転者は動的障害物（Ｂ）の存在及び、その移動によって車両（１００）の走行に影響を与える領域の存在を認知し易くなる。
　また、前記動的障害物（Ｂ）の進路が別の障害物（Ｂ）の存在によって変化する可能性に応じて、変化しない場合とは異なる領域に前記注意画像（ＭＥ）が表示される場合、前記注意画像（ＭＥ）は、当該変化する進路に応じた領域に表示されると好適である。
　動的障害物（Ｂ）は、移動する障害物（Ｂ）であり、その移動方向も変化する可能性がある。動的障害物（Ｂ）の存在は認知していても、運転者の予期なく、動的障害物（Ｂ）の移動方向が急に変化した場合には、運転者を驚かす可能性がある。しかし、動的障害物（Ｂ）の進路が変化する可能性がある場合に、その変化する進路に応じて注意画像（ＭＥ）が表示されると、運転者も動的障害物（Ｂ）が進路を変更する可能性を予期することができ、落ち着いて迅速に反応することができる可能性が高くなる。
　尚、前記注意画像は（ＭＥ）、車両（１００）及び前記動的障害物（Ｂ）が進行する道路の構造に応じて、前記車両（１００）の進行経路に前記動的障害物（Ｂ）が干渉する可能性のない領域を除外して表示されると好適である。
　注意画像（ＭＥ）は、障害物（Ｂ）の存在を運転者に認知させることを促す上でも有用である。しかし、車両（１００）の進行経路上では、車両（１００）と動的障害物（Ｂ）とが干渉する可能性のない領域にまで注意画像（ＭＥ）が表示されると運転者が煩わしく感じる可能性がある。従って、車両（１００）の進行経路に動的障害物（Ｂ）が干渉する可能性のない領域を除外して注意画像（ＭＥ）が表示されると好適である。
　また、前記注意画像（ＭＥ）は、前記動的障害物（Ｂ）が車両（１００）の進行に与える影響度（Ｅ）を段階的に示す態様で表示されると好適である。
　注意画像（ＭＥ）が影響度（Ｅ）の段階に応じて表示されることで、運転者は影響度（Ｅ）を認知し易く、影響度（Ｅ）を考慮した運転操作を行い易くなる。
　また、前記表示部（５）は、さらに、少なくとも前記動的障害物（Ｂ）と干渉する可能性が相対的に低い進行経路である推奨経路（Ｋ）を示す推奨経路画像（ＭＫ）を前記実風景（Ｓ）に重畳して表示し、前記推奨経路画像（ＭＫ）は、複数段階の前記影響度（Ｅ）の内、前記影響度（Ｅ）が低い領域を通るように表示されると好適である。
　推奨経路画像（ＭＫ）を表示することで、運転者に対してどのような経路で走行すれば適切であるかの情報を分かりやすく適切に報知することができる。推奨経路画像（ＭＫ）は、前記影響度（Ｅ）が低い領域を通るように設定される推奨経路（Ｋ）を報知するので、運転者に対して障害物Ｂによる影響を低減した適切な運転情報を報知することができる。
　また、前記動的障害物（Ｂ）が複数存在し、それぞれの前記動的障害物（Ｂ）に対して前記注意画像（ＭＥ）が表示され、複数の前記注意画像（ＭＥ）が重複する重複領域が存在する場合には、前記重複領域における前記影響度（Ｅ）が最も高い前記注意画像（ＭＥ）の前記影響度（Ｅ）を前記重複領域の前記影響度（Ｅ）として、それぞれの前記注意画像（ＭＥ）が表示されると好適である。
　複数の前記注意画像（ＭＥ）が重複する重複領域では、それぞれの注意画像（ＭＥ）に対応する障害物（Ｂ）が平均的に作用するのではなく、より影響度（Ｅ）の高い側の障害物（Ｂ）の方が車両（１００）の進行に影響を与える可能性が高い。従って、より影響度（Ｅ）の高い側の障害物（Ｂ）の影響度（Ｅ）に応じて注意画像（ＭＥ）が表示される方が、運転者に適切な運転情報を報知することができる。
　上述した車両運転補助システム（１０）の種々の技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能である。例えば、車両運転補助方法は、上述した車両運転補助システム（１０）の特徴を備えたステップを有することができる。また、車両運転補助プログラムは、上述した車両運転補助システム（１０）の特徴を備えた機能をコンピュータに実現させることが可能である。当然ながらこれらの車両運転補助方法及び車両運転補助プログラムも、上述した車両運転補助システム（１０）の作用効果を奏することができる。さらに、車両運転補助システム（１０）の好適な態様として例示した種々の付加的特徴を、これら車両運転補助方法や車両運転補助プログラムに組み込むことも可能であり、当該方法及び当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。
　その場合における車両運転補助方法は、
　実風景（Ｓ）に注意画像（ＭＥ）を重畳して表示部（５）に表示させる車両運転補助方法であって、
　前記注意画像（ＭＥ）は、移動する１つ又は複数の障害物（Ｂ）である動的障害物（Ｂ）の進路に応じて注意喚起を示す領域を有する画像であり、
　前記動的障害物（Ｂ）の進路が、別の障害物（Ｂ）の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させるステップを有する。
　また、車両運転補助プログラムは、
　実風景（Ｓ）に注意画像（ＭＥ）を重畳して表示部（５）に表示させる車両運転補助プログラムであって、
　前記注意画像（ＭＥ）は、移動する１つ又は複数の障害物（Ｂ）である動的障害物（Ｂ）の進路に応じて注意喚起を示す領域を有する画像であり、
　前記動的障害物（Ｂ）の進路が、別の障害物（Ｂ）の存在によって変化する可能性に応じて、前記注意喚起を示す領域を異ならせて表示させる機能をコンピュータに実現させる。
４　　　：演算処理ユニット（コンピュータ）
５　　　：表示装置（表示部）
１０　　：車両運転補助システム
５１　　：ヘッドアップディスプレイ（表示部）
５２　　：モニタ（表示部）
１００　：車両
Ｂ　　　：障害物
Ｅ　　　：影響度
Ｋ　　　：推奨経路
ＭＥ　　：注意画像
ＭＫ　　：推奨経路画像
Ｓ　　　：実風景景
 

Claims (9)

  1. 　実風景に注意画像を重畳して表示する表示部を備え、
    　前記注意画像は、移動する１つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
    　前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記注意喚起を示す領域が異なる車両運転補助システム。
  2. 　前記注意画像は、前記動的障害物と車両とが干渉する可能性のある領域を示す請求項１に記載の車両運転補助システム。
  3. 　前記動的障害物の進路が別の障害物の存在によって変化する可能性に応じて、変化しない場合とは異なる領域に前記注意画像が表示される場合、前記注意画像は、当該変化する進路に応じた領域に表示される請求項１又は２に記載の車両運転補助システム。
  4. 　車両及び前記動的障害物が進行する道路の構造に応じて、前記車両の進行経路に前記動的障害物が干渉する可能性のない領域を除外して、前記注意画像が表示される請求項１から３の何れか一項に記載の車両運転補助システム。
  5. 　前記注意画像は、前記動的障害物が車両の進行に与える影響度を段階的に示す態様で表示される請求項１から４の何れか一項に記載の車両運転補助システム。
  6. 　前記表示部は、さらに、少なくとも前記動的障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路画像を前記実風景に重畳して表示し、
    　前記推奨経路画像は、複数段階の前記影響度の内、前記影響度が低い領域を通るように表示される請求項５に記載の車両運転補助システム。
  7. 　前記動的障害物が複数存在し、それぞれの前記動的障害物に対して前記注意画像が表示され、複数の前記注意画像が重複する重複領域が存在する場合には、前記重複領域における前記影響度が最も高い前記注意画像の前記影響度を前記重複領域の前記影響度として、それぞれの前記注意画像が表示される請求項６に記載の車両運転補助システム。
  8. 　実風景に注意画像を重畳して表示部に表示させる車両運転補助方法であって、
    　前記注意画像は、移動する１つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
    　前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記前記注意喚起を示す領域を異ならせて表示させるステップを有する車両運転補助方法。
  9. 　実風景に注意画像を重畳して表示部に表示させる車両運転補助プログラムであって、
    　前記注意画像は、移動する１つ又は複数の障害物である動的障害物の進路に応じて注意喚起を示す領域を有する画像であり、
    　前記動的障害物の進路が、別の障害物の存在によって変化する可能性に応じて、前記前記注意喚起を示す領域を異ならせて表示させる機能をコンピュータに実現させる車両運転補助プログラム。
     
PCT/JP2018/042079 2017-11-17 2018-11-14 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム WO2019098216A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE112018004377.0T DE112018004377T5 (de) 2017-11-17 2018-11-14 Fahrzeugfahrassistenzsystem, fahrzeugfahrassistenzverfahren und fahrzeugfahrassistenzprogramm
CN201880067467.4A CN111226269A (zh) 2017-11-17 2018-11-14 车辆驾驶辅助系统、车辆驾驶辅助方法以及车辆驾驶辅助程序
US16/649,524 US20200307617A1 (en) 2017-11-17 2018-11-14 Vehicle driving assistance system, vehicle driving assistance method, and vehicle driving assistance program
JP2019554241A JPWO2019098216A1 (ja) 2017-11-17 2018-11-14 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-222161 2017-11-17
JP2017222161 2017-11-17

Publications (1)

Publication Number Publication Date
WO2019098216A1 true WO2019098216A1 (ja) 2019-05-23

Family

ID=66539759

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/042079 WO2019098216A1 (ja) 2017-11-17 2018-11-14 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム

Country Status (5)

Country Link
US (1) US20200307617A1 (ja)
JP (1) JPWO2019098216A1 (ja)
CN (1) CN111226269A (ja)
DE (1) DE112018004377T5 (ja)
WO (1) WO2019098216A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020251034A1 (ja) * 2019-06-13 2020-12-17 株式会社小糸製作所 交通用インフラストラクチャ、車両および交通用システム
CN112258878A (zh) * 2019-07-22 2021-01-22 纬创资通股份有限公司 行车预警系统、行车预警方法及使用所述方法的电子装置
JP2021174124A (ja) * 2020-04-22 2021-11-01 三菱電機株式会社 障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法
CN114586083A (zh) * 2019-11-01 2022-06-03 三菱电机株式会社 信息处理装置、信息处理系统、信息处理方法和信息处理程序
WO2022202192A1 (ja) * 2021-03-24 2022-09-29 株式会社Ｊｖｃケンウッド 犯罪防止装置及び犯罪防止方法
JP2022542277A (ja) * 2019-07-31 2022-09-30 ニッサン ノース アメリカ，インク 偶発事象対応計画及び安全保障

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160914A (ja) * 2019-03-27 2020-10-01 株式会社豊田自動織機 物体検出装置
KR20210054107A (ko) * 2019-11-04 2021-05-13 현대자동차주식회사 차량의 디스플레이 장치 및 방법
US11247699B2 (en) * 2019-11-04 2022-02-15 Volvo Car Corporation Driver assist interface in a vehicle
EP3971864A1 (en) * 2020-09-18 2022-03-23 Zenuity AB Risk estimation in autonomous driving environments
CN114248794A (zh) * 2020-09-23 2022-03-29 华为技术有限公司 车辆的控制方法、装置及车辆
CN112550286A (zh) * 2020-12-10 2021-03-26 宜宾凯翼汽车有限公司 一种车辆泊车提示方法和系统
US11836870B1 (en) * 2021-01-19 2023-12-05 United Services Automobile Association (Usaa) Systems and methods for virtual physical distancing
GB2608665B (en) * 2022-02-22 2024-01-03 Envisics Ltd Head-up display

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221667A (ja) * 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
JP2015032028A (ja) * 2013-07-31 2015-02-16 トヨタ自動車株式会社 運転支援装置及び運転支援方法
JP2017182567A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 車両状態監視装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4578795B2 (ja) 2003-03-26 2010-11-10 富士通テン株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP2008090655A (ja) * 2006-10-03 2008-04-17 Denso Corp 運転支援装置
EP2482557B1 (en) * 2009-09-24 2020-03-18 Panasonic Intellectual Property Management Co., Ltd. Driving support display device

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011221667A (ja) * 2010-04-06 2011-11-04 Toyota Motor Corp 対象物リスク予測装置
JP2012037980A (ja) * 2010-08-04 2012-02-23 Toyota Central R&D Labs Inc 移動物予測装置及びプログラム
JP2015032028A (ja) * 2013-07-31 2015-02-16 トヨタ自動車株式会社 運転支援装置及び運転支援方法
JP2017182567A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 周辺リスク表示装置
JP2017182565A (ja) * 2016-03-31 2017-10-05 株式会社Ｓｕｂａｒｕ 車両状態監視装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020251034A1 (ja) * 2019-06-13 2020-12-17 株式会社小糸製作所 交通用インフラストラクチャ、車両および交通用システム
CN112258878A (zh) * 2019-07-22 2021-01-22 纬创资通股份有限公司 行车预警系统、行车预警方法及使用所述方法的电子装置
JP2022542277A (ja) * 2019-07-31 2022-09-30 ニッサン ノース アメリカ，インク 偶発事象対応計画及び安全保障
JP7401650B2 (ja) 2019-07-31 2023-12-19 ニッサン ノース アメリカ，インク 偶発事象対応計画及び安全保障
CN114586083A (zh) * 2019-11-01 2022-06-03 三菱电机株式会社 信息处理装置、信息处理系统、信息处理方法和信息处理程序
JP2021174124A (ja) * 2020-04-22 2021-11-01 三菱電機株式会社 障害物検知装置及びこれを備えた障害物検知システム、障害物検知方法
WO2022202192A1 (ja) * 2021-03-24 2022-09-29 株式会社Ｊｖｃケンウッド 犯罪防止装置及び犯罪防止方法

Also Published As

Publication number Publication date
JPWO2019098216A1 (ja) 2020-08-20
CN111226269A (zh) 2020-06-02
US20200307617A1 (en) 2020-10-01
DE112018004377T5 (de) 2020-05-14

Similar Documents

Publication Publication Date Title
WO2019098216A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
CN111247575B (zh) 车辆驾驶辅助系统、方法及计算机可读取的存储介质
JP6051307B2 (ja) 運転支援装置
JP6648411B2 (ja) 処理装置、処理システム、処理プログラム及び処理方法
US9988007B2 (en) Occlusion control device
US9505346B1 (en) System and method for warning a driver of pedestrians and other obstacles
JP2016001170A (ja) 処理装置、処理プログラム、及び、処理方法
JP2016001464A (ja) 処理装置、処理システム、処理プログラム、及び、処理方法
WO2019097764A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
CN111052733A (zh) 周围车辆显示方法及周围车辆显示装置
JP6464933B2 (ja) 経路設定装置及び自動走行制御システム
CN111034186B (zh) 周围车辆显示方法及周围车辆显示装置
US10347126B2 (en) Driving assistance device
JP2020085688A (ja) 表示システム、表示制御方法、およびプログラム
US20230294517A1 (en) Vehicle display control device, display device, and vehicle display control method
JP7294091B2 (ja) 表示制御装置および表示制御プログラム
JP2019028568A (ja) 車両用表示方法及び車両用表示装置
WO2022224754A1 (ja) 車両用表示システム、車両用表示方法、及び車両用表示プログラム
US20210197666A1 (en) Vehicle display control apparatus and vehicle display control method
WO2019220884A1 (ja) 運転支援装置
JP2023020244A (ja) 車両用表示システム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18878397

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019554241

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18878397

Country of ref document: EP

Kind code of ref document: A1