WO2019097764A1 - 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム - Google Patents

車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム Download PDF

Info

Publication number
WO2019097764A1
WO2019097764A1 PCT/JP2018/027129 JP2018027129W WO2019097764A1 WO 2019097764 A1 WO2019097764 A1 WO 2019097764A1 JP 2018027129 W JP2018027129 W JP 2018027129W WO 2019097764 A1 WO2019097764 A1 WO 2019097764A1
Authority
WO
WIPO (PCT)
Prior art keywords
recommended
marking
speed
vehicle
route
Prior art date
Application number
PCT/JP2018/027129
Other languages
English (en)
French (fr)
Inventor
坂井孝光
Original Assignee
アイシン・エィ・ダブリュ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by アイシン・エィ・ダブリュ株式会社 filed Critical アイシン・エィ・ダブリュ株式会社
Priority to US16/649,274 priority Critical patent/US20200284605A1/en
Priority to EP18877551.4A priority patent/EP3667641A4/en
Priority to CN201880066998.1A priority patent/CN111213196A/zh
Publication of WO2019097764A1 publication Critical patent/WO2019097764A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/365Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/165Videos and animations
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/166Navigation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/167Vehicle dynamics information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/174Economic driving
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/20Optical features of instruments
    • B60K2360/33Illumination features
    • B60K2360/347Optical elements for superposition of display information
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/77Instrument locations other than the dashboard
    • B60K2360/785Instrument locations other than the dashboard on or in relation to the windshield or windows
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60Instruments characterised by their location or relative disposition in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02TCLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00Road transport of goods or passengers
    • Y02T10/80Technologies aiming to reduce greenhouse gasses emissions common to all road transportation technologies
    • Y02T10/84Data processing systems or methods, management, administration

Definitions

  • the present invention relates to a vehicle driving assistance technology that assists a driver in driving a vehicle.
  • JP-A-2017-33542 discloses an information display device which displays a traveling route for traveling a vehicle while avoiding an obstacle existing around the vehicle so as to be superimposed on a view seen from the driver's seat through the windshield. Is disclosed (claim 1, FIGS. 5-8, etc.). The driver can appropriately confirm the traveling route on which the vehicle can travel avoiding contact with the obstacle.
  • Japanese Patent Application Laid-Open No. 2017-33542 exemplifies that the own vehicle is controlled to decelerate by receiving a brake signal of a preceding vehicle through inter-vehicle communication.
  • the obstacle is not limited to a vehicle having an inter-vehicle communication function, and is often a person, a bicycle, or another object. Therefore, there is room for improvement in notifying the driver of appropriate traveling speed and traveling route so that various obstacles existing around the vehicle can be avoided.
  • the characteristic configuration of the vehicle driving assistance system in view of the above is It has a display unit that displays recommended driving signs superimposed on actual scenery,
  • the recommended driving indication indicating the recommended route which is a traveling route relatively less likely to interfere with one or more obstacles present in the traveling direction of the vehicle, and when traveling the recommended route Including a recommended speed indicator indicating the recommended speed indicator, which is an indicator related to the recommended traveling speed for
  • the recommended route marking and the recommended speed marking may be displayed in association with each other.
  • the technical features of such a vehicle driving assistance system are also applicable to a vehicle driving assistance method and a vehicle driving assistance program.
  • the vehicle driving assistance method can include various steps including the features of the vehicle driving assistance system described above.
  • the vehicle driving assistance program can cause a computer to realize various functions including the features of the vehicle driving assistance system described above.
  • the vehicle driving assistance method and the vehicle driving assistance program can also achieve the effects of the above-described vehicle driving assistance system.
  • the characteristic configuration of the vehicle driving assistance method in that case is A vehicle driving assistance method in which a recommended driving sign is superimposed on a real landscape and displayed on a display unit,
  • the recommended driving indication indicating the recommended route which is a traveling route relatively less likely to interfere with one or more obstacles present in the traveling direction of the vehicle, and when traveling the recommended route Including a recommended speed indicator indicating the recommended speed indicator, which is an indicator related to the recommended traveling speed for There is a step of displaying the recommended route marking and the recommended speed marking in association with each other.
  • the characteristic configuration of the vehicle driving assistance program is It is a vehicle driving assistance program that superimposes a recommended driving sign on a real landscape and displays it on the display unit,
  • the recommended driving indication indicating the recommended route which is a traveling route relatively less likely to interfere with one or more obstacles present in the traveling direction of the vehicle, and when traveling the recommended route Including a recommended speed indicator indicating the recommended speed indicator, which is an indicator related to the recommended traveling speed for The point is to have a computer implement a function of displaying the recommended route marking and the recommended speed marking in association with each other.
  • the driver by displaying the recommended driving marking in which the recommended route marking and the recommended speed marking are associated, it is appropriate for the driver to travel at the recommended route at any traveling speed. It is possible to appropriately and appropriately notify information of certain. As described above, according to the present configuration, it is possible to appropriately notify the driver of information such as a route and a speed recommended to travel by avoiding an obstacle around the vehicle.
  • FIG. 1 shows an example of the vicinity of the driver's seat 101 of a vehicle 100 equipped with a vehicle driving assistance system
  • the block diagram of FIG. 2 schematically shows an example of the system configuration of the vehicle driving assistance system 10.
  • FIG. 3 shows the concept of driving assistance by the vehicle driving assistance system 10
  • the flowchart of FIG. 4 shows an example of a procedure of driving assistance realized as a vehicle driving assistance method or a vehicle driving assistance program, for example.
  • 5 to 7 show an example in which the recommended driving sign M is superimposed on the real scene S.
  • the vehicle driving assistance system 10 is a system for providing the driver with information for assisting the driving, and in the present embodiment, the recommended driving sign M is superimposed and displayed on the real scenery S.
  • the vehicle driving assistance method is a method of performing driving assistance using hardware or software that configures the vehicle driving assistance system 10 as described later with reference to, for example, FIG. 2 and the like.
  • the vehicle driving assistance program is a program that is executed, for example, in a computer (for example, an arithmetic processing unit 4 described later with reference to FIG. 2) included in the vehicle driving assistance system 10 and realizes a vehicle driving assistance function.
  • the actual scenery S on which the recommended driving sign M is superimposed may be a view seen from the driver's seat 101 through the front window 50 of the vehicle 100 or may be photographed by the front camera 1 (see FIGS. It may be an image projected on the
  • the recommended driving sign M is drawn on the head-up display 51 formed on the front window 50, for example, and superimposed on the real scenery S.
  • the dashed area shown in the front window 50 in FIG. 1 is the area where the head-up display 51 is formed.
  • the recommended driving sign M is superimposed on the video.
  • the vehicle driving assistance system 10 has a front camera 1 (CAMERA), an arithmetic processing unit 2 (CAL), a graphic control unit 3 (GCU), and a display device 5 (DISPLAY). ing.
  • the arithmetic processing unit 2 and the graphic control unit 3 are arithmetic processing units 4 configured as one processor (system LSI, DSP (Digital Signal Processor), etc.) or one ECU (Electronic Control Unit). It is configured as part of Of course, the arithmetic processing unit 4 may include other functional units (not shown).
  • the display device 5 includes the head-up display 51 and the monitor 52 described above.
  • the vehicle driving assistance system 10 further includes a sensor group 6 (SEN), a navigation database 7 (navi_db), and a viewpoint detection device 8 (EP_DTCT).
  • the sensor group 6 can include a sonar, a radar, a vehicle speed sensor, a yaw rate sensor, a GPS (Global Positioning System) receiver, and the like.
  • the navigation database 7 is a database in which map information, road information, feature information (information such as road signs, road markings, facilities, etc.) are stored.
  • the viewpoint detection device 8 includes, for example, a camera for capturing an image of the head of the driver, and detects the viewpoint (eye) of the driver. It is preferable that the recommended driving sign M drawn on the head-up display 51 be drawn at a position according to the viewpoint of the driver.
  • the arithmetic processing unit 2 identifies one or more obstacles B present in the vicinity of the vehicle 100, in particular, in the direction of travel, by image recognition using an image captured by the front camera 1. At this time, there are cases where recognition accuracy can be improved by further using information provided from the sensor group 6 such as sonar and radar.
  • the processing unit 2 displays a recommended route mark MK (see FIG. 5 etc.) indicating a recommended route K (see FIG. 3) which is a traveling route relatively unlikely to interfere with the obstacle B, and a recommended route K
  • a recommended driving sign M including a recommended speed mark MV (see FIG. 5 and the like) indicating a recommended speed index which is an index related to a recommended traveling speed is generated.
  • the generation accuracy may be improved by using information provided from the sensor group 6 such as a vehicle speed sensor, a yaw rate sensor, a GPS receiver, and the like.
  • information provided from the sensor group 6 such as a vehicle speed sensor, a yaw rate sensor, a GPS receiver, and the like.
  • map information and the like from the navigation database 7, there are cases where it is possible to improve the accuracy of the position where the recommended driving marking M is superimposed on the graphic control unit 3.
  • the vehicle driving assistance system 10 may interfere with the obstacle B when it is determined that the obstacle B present in the traveling direction of the vehicle 100 may interfere with the vehicle 100 as illustrated in FIG. 3.
  • a traveling route with relatively low sex is calculated as a recommended route K.
  • the vehicle driving assistance system 10 first acquires a photographed image of a landscape in the traveling direction of the vehicle 100 photographed by the front camera 1 (# 1: photographed image acquisition step, photographed image acquisition function ).
  • the vehicle driving assistance system 10 performs image recognition on the obstacle B that may cause the vehicle 100 to interfere among the captured images (# 2: obstacle recognition step, obstacle recognition function).
  • the obstacle B may be detected not only by the image recognition but also by another method using the detection result of the sensor group 6. Therefore, the obstacle recognition step can also be referred to as an obstacle detection step.
  • the vehicle driving assistance system 10 calculates a recommended speed index that follows the recommended path K and the recommended path K, which are relatively low progress paths that may interfere with the obstacle B (# 4: recommended route calculation step, recommended route calculation function). At this time, it is also preferable to obtain map information and the like from the navigation database 7 and calculate the recommended route K and the recommended speed index in consideration of the road width and the presence or absence of an intersection.
  • FIG. 4 illustrates an example in which a database reference step # 3 (database reference function) for referring to information of the navigation database 7 is executed prior to the recommended route calculation step # 4.
  • the vehicle driving assistance system 10 determines whether the obstacle B affects the traveling route of the vehicle 100 based on the recognized or detected obstacle B.
  • the cost related to traveling is calculated in a range in which the vehicle 100 can travel (for example, on the road) in the traveling direction. For example, the cost is high at the position where the obstacle B is present and around it, and the cost is low at a position where the vehicle 100 can travel smoothly without the obstacle B and the like.
  • a destination on the traveling route is set within the range of the photographed image, and the cost of the destination is set to the lowest value (for example, zero).
  • the vehicle driving assistance system 10 can calculate the recommended route K by calculating the shortest course passing from the current location to the destination through a low cost point. In this calculation method, since the path in the direction of low cost is calculated, the calculation load is relatively lightened. There are also cases where it is preferable that the number of obstacles B is large and that the vehicle 100 stop. In preparation for such a case, it is preferable that the upper limit value of the cost capable of blocking the path is also set.
  • the Potential Method is known as a technique for autonomously operating by avoiding the obstacle B in the three-dimensional space, as described above. Since the potential method is known, detailed description will be omitted, but it is recommended, for example, to define the potential function for the current value, target position (destination) or obstacle B, and set the gradient as the traveling direction.
  • the path K can be calculated.
  • the gradient can be obtained by partial differentiation for each coordinate component (for example, for each of x, y, z axes in a three-dimensional orthogonal coordinate system).
  • the potential gradient to the target value acts in the trigger direction, and the traveling direction of the recommended route K goes to the target value.
  • the potential gradient of the obstacle B works in the repelling direction
  • the recommended route K is set to avoid the obstacle B.
  • the potential function can be updated in real time based on observation information (photographed image, detection result of sensor group 6, etc.), and thereby, it is possible to calculate an appropriate recommended route K at each time point.
  • the vehicle driving assistance system 10 When the vehicle driving assistance system 10 calculates the recommended route K and the recommended speed index, the vehicle driving assistance system 10 generates the recommended driving indication M including the recommended route indication MK and the recommended speed indication MV, and outputs it to the display device 5 (# 5: indication Generation step (mark generation function), # 6: mark output step (mark output function)). As described later with reference to FIG. 5 and the like, the recommended route marking MK and the recommended speed marking MV are associated with each other.
  • the recommended route K and the recommended speed index may be calculated separately, but it is preferable that the recommended driving indication M is generated in association with the recommended route K and the recommended speed index in the sign generation step # 5.
  • the sign generation step # 5 (mark generation function) can be referred to as a step (function) of associating the recommended route indication MK with the recommended speed indication MV with each other.
  • a recommended driving sign is displayed so that the recommended driving sign M is displayed corresponding to the position of the obstacle B in the real scene S using, for example, the detection result of the viewpoint detection device 8 or the like. M is output.
  • the indication output step # 6 (the indication output function) can be referred to as a step (function) for displaying the recommended driving indication M in correspondence with the position of the obstacle B in the real scene S.
  • the vehicle driving assistance method can be said to be a method of realizing the driving assistance by executing the respective steps as described above using the hardware and software that constitute the vehicle driving assistance system 10.
  • a computer for example, an arithmetic processing unit 4 described later with reference to FIG. 2 included in the vehicle driving assistance system 10 executes a program for realizing each function as described above.
  • FIGS. 5 to 7 show an example in which the recommended driving sign M is superimposed on the real scene S.
  • FIG. The recommended driving sign M is displayed corresponding to the position of the obstacle B in the real scene S, and the driver can appropriately guide how to drive the vehicle 100 in relation to the obstacle B. It is supposed to be. That is, since the recommended driving indication M is displayed corresponding to the position of the obstacle B in the real scene S, the driver should easily understand the reason why the traveling route, traveling speed, etc. are recommended as such. Can.
  • the recommended route marking MK and the recommended speed marking MV are displayed in association with each other. Specifically, the recommended speed marking MV is displayed in the display area of the recommended route marking MK.
  • FIG. 5 exemplifies the real scenery S and the recommended driving sign M when the vehicle 100 is present at the position generally indicated by the solid line in FIG.
  • the vehicle driving assistance system 10 detects that the obstacle B is present in a portion surrounded by a broken line in FIG.
  • the first obstacle B1 is a person riding a bicycle
  • the second obstacle B2, the third obstacle B3 and the fourth obstacle B4 are people walking.
  • each obstacle B is a moving obstacle that moves.
  • the vehicle driving assistance system 10 detects the presence of the obstacle B based on the photographed image of the front camera 1.
  • the obstacle B is a dynamic obstacle
  • the movement trajectory of the dynamic obstacle is detected based on the photographed image of the front camera 1 using known image recognition processing such as the optical flow method, for example. , Predict the future movement direction.
  • the movement direction thus estimated is referred to as an estimated movement direction.
  • an arrow indicated by a dashed dotted line extending from the obstacle B in FIG. 3 indicates the estimated movement direction of the obstacle B.
  • the vehicle driving assistance system 10 calculates the degree of influence of the obstacle B (including a dynamic obstacle) on the progress of the vehicle 100 based on the existing position of the obstacle B and the estimated movement direction.
  • FIG. 3 illustrates the degree of influence E calculated for the obstacle B.
  • the influence degree E is set stepwise, and the first influence degree E1 in the area near the obstacle B is the influence degree E higher than the second influence degree E2 in the area relatively far from the obstacle B .
  • an area in which the obstacle B is estimated to affect the travel of the vehicle 100 for example, the first influence degree E1 and the second influence degree E2 are To set the recommended route K as much as possible. That is, a traveling route relatively low in the possibility of interference between the obstacle B present in the traveling direction of the vehicle 100 and the vehicle 100 is set as the recommended route K.
  • FIG. 5 illustrates an example in which the recommended route K set as such is superimposed on the real scene S as the recommended route marking MK.
  • the recommended route marking MK is displayed corresponding to the position of the obstacle B in the real scene S.
  • the recommended route K that allows the vehicle 100 to travel with an appropriate distance between the first obstacle B1 and the second obstacle B2 and the vehicle 100 is a driver as the recommended route marking MK.
  • the recommended route marking MK is displayed in association with the recommended speed marking MV.
  • the recommended speed marking MV is displayed in the display area of the recommended route marking MK, and is displayed as a recommended driving marking M integrated with the recommended route marking MK.
  • the recommended driving marking M (recommended route marking MK) is formed by arranging a plurality of unit markings UM along the recommended route K.
  • the recommended speed marking MV is expressed by making the colors of unit markings UM lined along the recommended route K different.
  • the traveling direction of the vehicle 100 the vehicle 100 may approach the first obstacle B1 and the second obstacle B2, and the vehicle 100 preferably travels slowly, for example. Therefore, the recommended speed of the vehicle 100 is reduced along the traveling direction.
  • the unit markings UM arranged on the near side are displayed as the first unit markings M1 (for example, white or blue), and the unit markings UM arranged on the traveling direction side are the second
  • the form displayed with unit mark M2 for example, yellow
  • the color of the first unit mark M1 and the second unit mark M2 is a color that draws attention as the recommended speed is lower based on cognitive engineering or the like.
  • the yellow color of the second unit marking M2 is generally recalled to require attention by the human compared to the white or blue color of the first unit marking M1.
  • the recommended speed marking MV is displayed in association with the recommended route marking MK by displaying the recommended speed index at each point on the recommended route K.
  • the traveling speed recommended for the vehicle 100 differs depending on each point on the recommended route K.
  • FIG. 6 illustrates the recommended driving sign M when the vehicle 100 travels further forward than in FIG. 5.
  • the distance between the third obstacle B3 and the fourth obstacle B4 and the vehicle 100 is also closer. For this reason, it is recommended that all the colors of the unit marking UM be the second unit marking M2, and the vehicle 100 be driven slowly.
  • FIG. 7 illustrates the recommended driving sign M when the vehicle 100 travels further forward as compared with FIG.
  • the first obstacle B1 and the fourth obstacle B4 are approaching the route in which the vehicle 100 travels, as compared with FIG. 6.
  • a third unit mark M3 (for example, red) that draws more attention than the second unit mark M2 is also used as the unit mark UM.
  • the third unit mark M3 is applied in the case of the recommended speed which recommends the slowest run or stop.
  • the recommended speed marking MV is displayed in different colors according to the traveling speed recommended for the vehicle 100 (one of the recommended speed indicators described later).
  • all the recommended routes K are configured by the first unit marking M1 (white or blue).
  • the traveling speed is to be decreased as the recommended route K is advanced, as shown in FIG. 9, the first unit marking M1 passes through the second unit marking M2 (yellow) and then the third unit marking M3 (red)
  • the unit mark UM is arranged so that
  • the recommended route marking MK may be formed in a continuous line, and the color may change in one continuous marking.
  • the recommended speed mark MV is not limited to the form in which the color of the recommended driving mark M is different as described above, but the form in which the unit marks UM are arranged is different. It may be Further, even if the recommended route marking MK has a plurality of unit markings UM or a continuous linear form, the recommended speed marking MV is at least the color, the shape, and the motion of the recommended driving marking M. One of the modes may be displayed in a different manner according to a recommended speed index such as a traveling speed. Such an embodiment will be described below with reference to FIGS. 10 to 15.
  • FIG. 10 and FIG. 11 illustrate the form which represents the recommended speed mark MV by making the arrangement form of the plurality of unit mark UM different. That is, the form in which the recommended speed marking MV is displayed is illustrated by making the intervals D at which the plurality of unit markings UM are arranged different according to the recommended speed index such as the traveling speed.
  • FIG. 10 shows a case where the vehicle 100 can travel at a traveling speed without any particular limitation, and the unit markings UM are arranged along the recommended route K at a first interval D1.
  • FIG. 11 exemplifies the recommended speed marking MV in the case of traveling the vehicle 100 at a lower traveling speed than FIG. 10, and the unit marking UM is a second interval shorter than the first interval D1 along the recommended route K It is arranged by D2.
  • the traveling speed of the vehicle 100 is low, and the driver accelerates. It can encourage driving.
  • FIGS. 12 and 13 illustrate an example in which the movement of the recommended speed marking MV is displayed in a different manner in accordance with the recommended speed index such as the traveling speed of the vehicle 100.
  • the recommended speed marking MV is represented by making the moving speed V at which the unit marking UM moves in the traveling direction along the recommended route K different according to the recommended speed index such as the traveling speed.
  • FIG. 12 shows a case where the vehicle 100 can travel at a traveling speed without any particular limitation, and the unit marking UM moves in the traveling direction of the vehicle 100 at the first speed V1 along the recommended route K.
  • FIG. 13 illustrates the recommended speed marking MV when the vehicle 100 is driven at a lower traveling speed than FIG.
  • the unit marking UM is a second speed that is lower than the first speed V1 along the recommended route K
  • the vehicle 100 moves in the traveling direction at V2.
  • the moving speed of the unit marking UM is considered to correspond to the traveling speed of the vehicle 100, in the case of the second speed V2 which is lower than the traveling speed V, the traveling speed of the vehicle 100 is low. It can prompt you.
  • One recommended route marking MK may move along the recommended route K, or a form in which continuous linear recommended route markings MK sweeps (disappears from the front in order and reaches the tip of the recommended route K again) It may be a form of repeating drawing.
  • FIGS. 14 and 15 illustrate an example in which the shape of the recommended speed marking MV is displayed in a different manner in accordance with the recommended speed index such as the traveling speed of the vehicle 100.
  • FIGS. 14 and 15 illustrate an embodiment in which the shape of the unit marking UM is made different according to the recommended speed index.
  • FIG. 14 shows a case where the vehicle 100 can be traveled at a traveling speed that is not particularly limited.
  • the unit marks UM are formed by arranging the first unit marks M1 of the same shape along the recommended path K, and the recommended speed marks MV are displayed by arranging the first unit marks M1 of the same shape. There is.
  • FIG. 15 illustrates the recommended speed marking MV in the case of causing the vehicle 100 to travel at a lower traveling speed than that in FIG.
  • the unit marking UM has a second unit marking M2 having a shape indicating that the traveling speed is slower than the first unit marking M1, and a third unit marking M3 indicating the traveling speed slower than the second unit marking M2, a third unit A fourth unit marking M4 is also included which indicates a lower speed than the marking M3.
  • Each unit mark UM is formed such that the angle (inner angle) of the tip portion in the traveling direction increases as the traveling speed decreases. That is, the angle of the tip of the second unit marking M2 is larger than that of the first unit marking M1, and the angle of the tip of the third unit marking M3 is larger than that of the second unit marking M2.
  • the angle of the tip of the fourth unit marking M4 is larger than that of the third unit marking M3, and the tip of the fourth unit marking M4 is linear. That is, in this example, the angle (inner angle) of the tip of the unit mark UM has a maximum value of 180 degrees.
  • the first unit mark M1, the second unit mark M2, and the third unit mark M3 are formed in a pentagon shape so as to recall an arrow indicating the traveling direction, but a fourth unit mark M4 is a rectangle without an arrow portion It is formed in the shape of a circle.
  • the fourth unit marking M4 can be a recommended speed marking MV that is recommended to stop the vehicle 100.
  • One recommended route marking MK is formed in a continuous line, and the shape of the one recommended route marking MK may be changed.
  • the traveling speed or the like may be expressed by forming a tip of the continuous linear one recommended route marking MK into a pointed shape in the shape of an arrow and making the tip different in shape.
  • the tip end is sharpened when the recommended travel speed is high, and the angle of the tip end becomes larger as the recommended travel speed becomes slower (the sharpness decreases and becomes flat).
  • the form which is a travel speed (absolute speed) recommended for the vehicle 100 which the travel speed index which the recommendation speed marking MV shows is illustrated was illustrated. That is, the recommended speed marking MV is illustrated in a display form corresponding to the absolute speed of the vehicle 100.
  • the travel speed index is not limited to the absolute speed as long as it is an index related to the travel speed recommended when the vehicle 100 travels on the recommended route K.
  • the traveling speed indicator may be the acceleration of the vehicle 100 including the decelerating acceleration recommended for the vehicle 100 and the accelerated acceleration permitted for the vehicle 100. Therefore, the recommended speed marking MV may be displayed in a display form corresponding to the acceleration of the vehicle 100 including the deceleration acceleration recommended for the vehicle 100 and the acceleration acceleration acceptable for the vehicle 100.
  • the vehicle driving assistance system 10 influences the obstacle B (including the dynamic obstacle) on the traveling of the vehicle 100 based on the existing position of the obstacle B and the estimated movement direction. Calculate the degree.
  • the influence degree E calculated with respect to the obstacle B is illustrated in FIG. 3, it is preferable that the influence degree E is also superimposed on the real scene S as a sign.
  • an alerting indication ME impact degree indication
  • the degree of influence E is set stepwise, as in the case of the first degree of influence E1 and the second degree of influence E2 shown in FIG. Is preferably displayed in a form as shown.
  • the recommended speed mark MV is displayed in the display area of the recommended route mark MK and indicates a multiple speed recommended speed index, the recommended path mark MK and cautions
  • the recommended speed indication MV be displayed with different stages of the recommended speed indication MV corresponding to the degree of the influence degree E.
  • FIG. 16 shows the relationship between the alerting indication ME and the recommended driving indication M as a plan view as shown in FIG.
  • the degree of influence E is set stepwise around the obstacle B based on the position where the obstacle B is present and the estimated movement direction.
  • the alert display ME is generated according to these setting ranges.
  • a first alerting indication ME1 is generated according to the first influence degree E1
  • a second alerting indication ME2 is generated according to the second influence degree E2.
  • the recommended speed marking MV is expressed by gradually changing the display form of the recommended route marking MK, and when the recommended route marking MK overlaps with the alerting indication ME, the change in the step of the alerting indication ME and the recommended route marking MK When the change of the display form of the above is associated, the visibility to the driver is good and suitable. For example, as shown in FIG. 16, in a region where the alerting indication ME and the recommended route indication MK do not overlap, the recommended driving indication M according to the first unit indication M1 that can run the vehicle 100 at a traveling speed without particular limitation. Is formed.
  • the recommended driving indication M is formed by the second unit indication M2.
  • the recommended driving indication M is indicated by the third unit indication M3. It is formed.
  • the correspondence between the stage of the alerting indication ME and the recommended speed indication MV is not limited to the form shown in FIG.
  • the recommended driving indication M is formed not by the first unit indication M1 but by the second unit indication M2 due to other factors or the like. Does not interfere with
  • FIG. 17 shows an example in which the recommended driving sign M and the warning sign ME are superimposed on the same real scene S as FIG. 7.
  • the recommended operation indication M is formed by the second unit indication M2 already in the region where the attention alert indication ME and the recommended route indication MK do not overlap. Therefore, in a region where the second alerting indication ME2 indicating the second influence degree E2 and the recommended route indication MK overlap, the recommended driving indication is indicated by the third unit indication M3 indicating that the second unit indication M2 is slower than the second unit indication M2. M is formed.
  • the fourth unit mark M4 such as the fourth unit mark M4 described with reference to FIG. It is preferred that a recommended speed marking MV is suggested which recommends stopping.
  • the recommended speed marking MV is described by exemplifying a form in which the recommended route marking MK is displayed, the recommended route marking MK and the recommended speed marking MV are displayed in association with each other. If it does, it does not prevent the form in which the recommended speed marking MV is displayed outside the display area of the recommended route marking MK.
  • a recommended speed indicator MV indicating numerically the recommended speed may be added to the side of the continuous arrow-shaped recommended route mark MK.
  • the recommended speed marking MV attached to the side of the recommended route marking MK is not limited to the numerical value as shown in FIG. 18 as long as the recommended speed index can be expressed by color, shape or movement.
  • the recommended speed index may be expressed by the gradation of the color of the side line along the recommended route marking MK, the movement of the side line, or the like.
  • This vehicle driving assistance system (10) has a display unit that displays recommended driving signs superimposed on actual scenery (S), The recommended driving indication indicating the recommended route which is a traveling route relatively less likely to interfere with one or more obstacles present in the traveling direction of the vehicle, and when traveling the recommended route Including a recommended speed indicator indicating the recommended speed indicator, which is an indicator related to the recommended traveling speed for The recommended route marking and the recommended speed marking are displayed in association with each other.
  • the recommended speed indicator (MV) is displayed in the display area of the recommended route indicator (MK) in association with the recommended route indicator (MK).
  • the driver can easily see the recommended driving information as the common recommended driving marking (M) because the recommended driving information can be shown to the driver. , Makes it easier to recognize driving information.
  • the recommended speed marking (MV) is displayed in association with the recommended route marking (MK) by displaying the recommended speed index at each point on the recommended route (K). It is.
  • the recommended traveling speed for the vehicle (100) differs depending on each point on the recommended route (K).
  • the driver can travel at the recommended route (K) at any traveling speed. In this case, it is possible to inform the information as to whether it is appropriate or not.
  • the recommended speed mark (MV) is displayed in a display form corresponding to the absolute speed of the vehicle (100).
  • the recommended traveling for the driver is displayed by displaying the recommended speed marking (MV) in the marking form corresponding to the absolute speed of the vehicle (100), that is, the traveling speed recommended for the vehicle (100).
  • the speed can be reported in a manner that is easy to recognize.
  • the recommended speed indicator (MV) is displayed in a display form corresponding to the acceleration of the vehicle (100) including the decelerating acceleration recommended for the vehicle (100) and the accelerated acceleration permitted for the vehicle. Is also suitable.
  • the traveling speed of the vehicle (100) changes according to the acceleration of the vehicle (100) based on the driver's operation.
  • the recommended speed marking (MV) in the marking form corresponding to the acceleration of the vehicle (100)
  • the running speed can be reported.
  • the color, the shape, and the movement of the recommended speed indicator (MV) be displayed in a different manner in accordance with the recommended speed indicator.
  • the recommended route marking (MK) is a marking indicating the route that is the position in the real scene (S), but the recommended speed marking (MV) is an indicator related to the traveling speed of the vehicle (100), ie a marking indicating the degree
  • the display be associated with the recommended route marking (MK) and be able to represent the degree. Therefore, it is possible to make the driver visually recognize the degree of the recommended speed by associating with the recommended route marking (MK) and changing at least one of the color, the shape, and the motion according to the recommended speed. it can.
  • the information included in the recommended speed index can be appropriately notified to the driver when the recommended speed marking (MV) is expressed.
  • the recommended route marking (MK) is a plurality of unit markings (UM) arranged along the recommended route (K)
  • the recommended speed marking (MV) is a plurality of the unit markings (MV) It is preferable that the interval (D) at which the UM) is arranged be displayed differently according to the recommended speed index.
  • a linear recommended route (K) can be appropriately represented by the arrangement of a plurality of unit marks (UM). And expression which shows a grade can be added by changing the interval (D) in which a unit mark (UM) is arrange
  • the recommended speed marking (MV) is an indicator related to the traveling speed of the vehicle (100), that is, a marking indicating the degree, and drives information included in the recommended speed indicator according to the interval (D) at which the unit marking (UM) is arranged. Can be notified to
  • the display unit (5) further includes an influence indicator (ME) indicating the influence (E) of the obstacle (B) on the progress of the vehicle (100) in a step-by-step manner.
  • (S) is superimposed and displayed, and the recommended speed indicator (MV) is displayed in the display area of the recommended route indicator (MK) and shows the recommended speed index of a plurality of stages, and the recommended route indicator (MK
  • the recommended speed indication (MV) is displayed by changing the step of the recommended speed indicator according to the step of the influence degree (E) Is preferred.
  • the degree of influence indication (ME) By displaying the degree of influence indication (ME), it is possible to inform the driver of the presence of the obstacle (B) which is the basis of the recommended route indication (MK) and the recommended speed indication (MV). As a result, the driver can be made to perform a driving operation in which the obstacle (B) is also conscious without depending on only the recommended route marking (MK) or the recommended speed marking (MV).
  • the vehicle driving assistance method may comprise steps comprising the features of the vehicle driving assistance system (10) described above.
  • the vehicle driving assistance program can cause a computer to realize a function including the features of the vehicle driving assistance system (10) described above.
  • the vehicle driving assistance method and the vehicle driving assistance program can also exhibit the effects of the above-described vehicle driving assistance system (10).
  • the vehicle driving assistance method in that case is It is a vehicle driving assistance method to be displayed on the display unit (5) by superimposing a recommended driving sign (M) on a real landscape (S),
  • the recommended driving indicator (M) indicates a recommended route (K) which is a traveling route relatively unlikely to interfere with one or more obstacles (B) present in the traveling direction of the vehicle (100).
  • a recommended route marking (MK) and a recommended velocity marking (MV) indicating a recommended velocity index, which is an indicator related to a recommended traveling speed when traveling the recommended route (K), And displaying the recommended route indication (MK) and the recommended speed indication (MV) in association with each other.
  • the vehicle driving assistance program It is a vehicle driving assistance program that superimposes the recommended driving sign (M) on the actual landscape (S) and displays it on the display unit (5)
  • the recommended driving indicator (M) indicates a recommended route (K) which is a traveling route relatively unlikely to interfere with one or more obstacles (B) present in the traveling direction of the vehicle (100).
  • the computer (4) realizes a function of displaying the recommended route marking (MK) and the recommended speed marking (MV) in association with each other.

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

車両の周辺の障害物を回避して走行するために推奨される経路や速度などの情報を適切に運転者に報知する。車両運転補助システム(10)は、実風景(S)に推奨運転標示(M)を重畳して表示する表示部(5)を備える。推奨運転標示(M)は、車両(100)の進行方向に存在する1つ又は複数の障害物(B)と干渉する可能性が相対的に低い進行経路である推奨経路(K)を示す推奨経路標示(MK)、及び推奨経路(K)を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示(MV)を含む。推奨経路標示(MK)と推奨速度標示(MV)とは、互いに対応付けられて表示される。

Description

車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
 本発明は、運転者による車両の運転を補助する車両運転補助技術に関する。
 特開2017-33542号公報には、車両の周囲に存在する障害物を回避しながら車両を走行させるための走行ルートを運転席からフロントガラス越しに見える景色に重畳するように表示する情報表示装置が開示されている(請求項1、図5~8等)。運転者は、自車両が障害物への接触を回避して走行できる走行ルートを適切に確認することができる。
 但し、実際の運転環境においては、障害物の接触を回避して走行する際には、ステアリングを用いた操舵に限らず、ブレーキやアクセルを用いた車両速度の調整も行われることが多い。このため、操舵に関する走行ルートが表示されるだけでは、運転者が違和感を持つ場合がある。特開2017-33542号公報には、車車間通信によって前方車両のブレーキ信号を受信して自車両を減速制御することが例示されている。しかし、障害物は、車車間通信機能を有する車両とは限らず、人や自転車、その他の物体である場合も多い。従って、車両の周囲に存在する様々な障害物を回避できるように、適切な走行速度と走行ルートとを運転者に報知する上では、改善の余地がある。
特開2017-33542号公報
 上記背景に鑑みて、車両の周辺の障害物を回避して走行するために推奨される経路や速度などの情報を適切に運転者に報知することが望まれる。
 上記に鑑みた車両運転補助システムの特徴構成は、
 実風景に推奨運転標示を重畳して表示する表示部を備え、
 前記推奨運転標示は、車両の進行方向に存在する1つ又は複数の障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路標示、及び前記推奨経路を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示を含み、
 前記推奨経路標示と前記推奨速度標示とは、互いに対応付けられて表示される点にある。
 このような車両運転補助システムの技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能である。例えば、車両運転補助方法は、上述した車両運転補助システムの特徴を備えた各種のステップを有することができる。また、車両運転補助プログラムは、上述した車両運転補助システムの特徴を備えた各種の機能をコンピュータに実現させることが可能である。当然ながらこれらの車両運転補助方法及び車両運転補助プログラムも、上述した車両運転補助システムの作用効果を奏することができる。
 その場合における車両運転補助方法の特徴構成は、
 実風景に推奨運転標示を重畳して表示部に表示させる車両運転補助方法であって、
 前記推奨運転標示は、車両の進行方向に存在する1つ又は複数の障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路標示、及び前記推奨経路を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示を含み、
 前記推奨経路標示と前記推奨速度標示とを、互いに対応付けて表示させるステップを有する点にある。
 また、車両運転補助プログラムの特徴構成は、
 実風景に推奨運転標示を重畳して表示部に表示させる車両運転補助プログラムであって、
 前記推奨運転標示は、車両の進行方向に存在する1つ又は複数の障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路標示、及び前記推奨経路を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示を含み、
 前記推奨経路標示と前記推奨速度標示とを、互いに対応付けて表示させる機能をコンピュータに実現させる点にある。
 これらの特徴構成によれば、推奨経路標示と推奨速度標示とが対応付けられた推奨運転標示を表示することで、運転者に対して、推奨経路をどのような走行速度で走行すれば適切であるかの情報を分かりやすく適切に報知することができる。このように、本構成によれば、車両の周辺の障害物を回避して走行するために推奨される経路や速度などの情報を適切に運転者に報知することができる。
 車両運転補助システム、車両運転補助方法、車両運転補助プログラムのさらなる特徴と利点は、図面を参照して説明する実施形態についての以下の記載から明確となる。
車両の運転席付近の一例を示す斜視図 車両運転補助システムのシステム構成の一例を模式的に示すブロック図 運転補助の概念を示す平面図 運転補助の手順の一例を示すフローチャート 実風景に推奨運転標示が重畳された一例を示す図 実風景に推奨運転標示が重畳された一例を示す図 実風景に推奨運転標示が重畳された一例を示す図 色彩で推奨速度を示す推奨運転標示の一例を示す図 色彩で推奨速度を示す推奨運転標示の一例を示す図 単位標示の間隔で推奨速度を示す推奨運転標示の一例を示す図 単位標示の間隔で推奨速度を示す推奨運転標示の一例を示す図 単位標示の動きで推奨速度を示す推奨運転標示の一例を示す図 単位標示の動きで推奨速度を示す推奨運転標示の一例を示す図 単位標示の形状で推奨速度を示す推奨運転標示の一例を示す図 単位標示の形状で推奨速度を示す推奨運転標示の一例を示す図 影響度標示と推奨運転標示との関係を示す平面図 実風景に推奨運転標示と影響度標示とが重畳された一例を示す図 推奨経路標示と推奨速度標示とが独立した例を示す図
 以下、車両運転補助システム(車両運転補助方法及び車両運転補助プログラムを含む)の実施形態を図面に基づいて説明する。図1は、車両運転補助システムが搭載された車両100の運転席101付近の一例を示しており、図2のブロック図は、車両運転補助システム10のシステム構成の一例を模式的に示している。図3は、車両運転補助システム10による運転補助の概念を示しており、図4のフローチャートは、例えば車両運転補助方法、車両運転補助プログラムとして実現される運転補助の手順の一例を示している。また、図5から図7は、実風景Sに推奨運転標示Mが重畳された一例を示している。
 車両運転補助システム10は、運転者に対して、運転を補助する情報を提供するシステムであり、本実施形態では、実風景Sに推奨運転標示Mを重畳して表示させる。尚、車両運転補助方法は、例えば図2等を参照して後述するような、車両運転補助システム10を構成するハードウェアやソフトウェアを利用して、運転補助を実行する方法である。また、車両運転補助プログラムは、例えば車両運転補助システム10に含まれるコンピュータ(例えば図2を参照して後述する演算処理ユニット4など)において実行され、車両運転補助機能を実現させるプログラムである。
 推奨運転標示Mが重畳される実風景Sは、運転席101から車両100のフロントウィンドゥ50を通して見える風景でも良いし、後述するフロントカメラ1(図2、図3等参照)によって撮影されてモニタ52に映し出される映像であってもよい。実風景Sがフロントウィンドゥ50を通して見える風景の場合、推奨運転標示Mは、例えばフロントウィンドゥ50に形成されたヘッドアップディスプレイ51に描画されて実風景Sに重畳される。図1においてフロントウィンドゥ50に示された破線の領域は、ヘッドアップディスプレイ51が形成されている領域である。また、実風景Sがモニタ52に映し出される映像の場合、推奨運転標示Mは、当該映像に重畳される。
 図2に示すように、車両運転補助システム10は、フロントカメラ1(CAMERA)と、演算処理装置2(CAL)と、グラフィックコントロールユニット3(GCU)と、表示装置5(DISPLAY)とを有している。本実施形態では、演算処理装置2とグラフィックコントロールユニット3とは、1つのプロセッサ(システムLSI、DSP(Digital Signal Processor)等)や、1つのECU(Electronic Control Unit)として構成された演算処理ユニット4の一部として構成されている。当然ながら、演算処理ユニット4には、不図示のその他の機能部が含まれていてもよい。また、表示装置5(表示部)は、上述したヘッドアップディスプレイ51及びモニタ52を含む。
 本実施形態では、車両運転補助システム10は、さらにセンサ群6(SEN)、ナビゲーションデータベース7(navi_db)、視点検出装置8(EP_DTCT)を有している。センサ群6は、ソナー、レーダー、車速センサ、ヨーレートセンサ、GPS(Global Positioning System)受信機、等を含むことができる。ナビゲーションデータベース7は、地図情報、道路情報、地物情報(道路標識、道路標示、施設等の情報)が格納されたデータベースである。視点検出装置8は、例えば運転者の頭部を撮影するカメラを有して構成され、運転者の視点(目)を検出する。ヘッドアップディスプレイ51に描画される推奨運転標示Mは、運転者の視点に応じた位置に描画されると好適である。
 後述するように、演算処理装置2は、フロントカメラ1による撮影画像を用いた画像認識により、車両100の周辺、特に進行方向寄りに存在する1つ又は複数の障害物Bを特定する。この際、さらに、ソナー、レーダーなど、センサ群6から提供される情報も用いることで認識精度を向上させることができる場合がある。また、演算処理装置2は、障害物Bと干渉する可能性が相対的に低い進行経路である推奨経路K(図3参照)を示す推奨経路標示MK(図5等参照)、及び推奨経路Kを走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示MV(図5等参照)を含む推奨運転標示Mを生成する。この際、車速センサ、ヨーレートセンサ、GPS受信機など、センサ群6から提供される情報を用いることで生成精度を向上させることができる場合がある。また、ナビゲーションデータベース7から地図情報などを取得することにより、グラフィックコントロールユニット3に推奨運転標示Mを重畳させる位置の精度を向上させることができる場合がある。
 車両運転補助システム10は、図3に示すように、車両100の進行方向に存在する障害物Bと車両100とが干渉する可能性があると判定した場合に、当該障害物Bと干渉する可能性が相対的に低くなる進行経路を推奨経路Kとして演算する。図4のフローチャートに示すように、車両運転補助システム10は、まずフロントカメラ1により撮影された車両100の進行方向の風景の撮影画像を取得する(#1:撮影画像取得ステップ、撮影画像取得機能)。車両運転補助システム10は、次に、撮影画像の中から車両100が干渉する可能性がある障害物Bを画像認識する(#2:障害物認識ステップ、障害物認識機能)。上述したように、障害物Bは、画像認識のみに限らず、センサ群6の検出結果を利用するその他の方式も用いて検出されてもよい。従って、障害物認識ステップは障害物検出ステップと称することもできる。
 障害物Bが検出されると、車両運転補助システム10は、障害物Bと干渉する可能性が相対的に低い進行経路である推奨経路Kと推奨経路Kを進む推奨速度指標を演算する(#4:推奨経路演算ステップ、推奨経路演算機能)。この際、ナビゲーションデータベース7から地図情報等を取得しておき、道路幅や交差点の有無等も考慮して推奨経路Kや推奨速度指標を演算することも好適である。図4には、推奨経路演算ステップ#4に先行して、ナビゲーションデータベース7の情報を参照するデータベース参照ステップ#3(データベース参照機能)が実行される形態を例示している。
 車両運転補助システム10は、認識或いは検出された障害物Bに基づいて、当該障害物Bが車両100の進行経路に対して影響を与えるか否かを判定する。1つの態様として、進行方向において車両100が走行可能な範囲(例えば道路上)において、走行に関するコストを演算する。例えば、障害物Bの存在位置やその周辺では高いコストとなり、障害物B等が存在せず、円滑に車両100が走行できる位置では低いコストとなる。また、撮影画像の範囲内に進行経路上の目的地を設定し、当該目的地のコストを最も低い値に設定する(例えばゼロ)。
 車両運転補助システム10は、現在地から目的地まで、コストの低い地点を通る最短コースを演算することで、推奨経路Kを演算することができる。この演算方法では、コストの低い方向への経路を演算していくので、比較的演算負荷が軽くなる。尚、障害物Bの数が多く、車両100が停止する方が好ましいような場合もある。このような場合に備えて、経路を遮断可能なコストの上限値も設定されていると好適である。
 以上、簡単に説明したが、このように三次元空間において障害物Bを回避して自律動作するような技術としては、例えばポテンシャル法(Potential Method)が知られている。ポテンシャル法については公知であるので、詳細な説明は省略するが、例えば現在値や目標位置(目的地)や障害物Bにポテンシャル関数を定義して、その勾配を進行方向とすることで、推奨経路Kを演算することができる。尚、勾配は座標成分(例えば三次元直交座標系であればx、y、z軸ごとなど。)ごとの偏微分によって求めることができる。目的値へのポテンシャル勾配は、誘因方向に働き、推奨経路Kの進行方向が目的値へ向かう。一方、障害物Bのポテンシャル勾配は、反発方向に働き、推奨経路Kは障害物Bを避けるように設定される。ポテンシャル関数は観測情報(撮影画像やセンサ群6の検出結果など)に基づいてリアルタイムに更新可能であり、これにより、各時点での適切な推奨経路Kを演算することができる。
 車両運転補助システム10は、推奨経路K及び推奨速度指標を演算すると、推奨経路標示MK、及び推奨速度標示MVを含む推奨運転標示Mを生成して、表示装置5に出力する(#5:標示生成ステップ(標示生成機能)、#6:標示出力ステップ(標示出力機能))。図5等を参照して後述するように、推奨経路標示MKと推奨速度標示MVとは、互いに対応付けられている。推奨経路Kと推奨速度指標とは、それぞれ別に演算されてもよいが、標示生成ステップ#5において推奨経路Kと推奨速度指標と対応付けて、推奨運転標示Mが生成されると好適である。標示生成ステップ#5(標示生成機能)は、推奨経路標示MKと推奨速度標示MVとを、互いに対応付けるステップ(機能)ということができる。
 また、標示出力ステップ#6では、例えば視点検出装置8の検出結果等も利用して、実風景Sにおける障害物Bの位置に対応して推奨運転標示Mが表示されるように、推奨運転標示Mが出力される。尚、推奨運転標示Mが生成される場合にも、運転者の視点を考慮することが好ましい場合があるため、標示生成ステップ#5において、実風景Sにおける障害物Bの位置に対応して推奨運転標示Mが生成されることを妨げるものではない。標示出力ステップ#6(標示出力機能)は、推奨運転標示Mを、実風景Sにおける障害物Bの位置に対応して表示させるステップ(機能)ということができる。
 車両運転補助方法は、車両運転補助システム10を構成するハードウェアやソフトウェアを利用し、上述したような各ステップを実行して運転補助を実現する方法ということができる。また、車両運転補助システム10に含まれるコンピュータ(例えば図2を参照して後述する演算処理ユニット4など)は、上述したような各機能を実現するプログラムを実行する。
 図5から図7は、実風景Sに推奨運転標示Mが重畳された一例を示している。推奨運転標示Mは、実風景Sにおける障害物Bの位置に対応して表示されており、障害物Bとの関係で運転者が車両100をどのように運転すれば良いかを適切に案内できるようになっている。つまり、推奨運転標示Mは、実風景Sにおける障害物Bの位置に対応して表示されるため、走行経路や走行速度などがそのように推奨される理由についても運転者は容易に理解することができる。図5から図7に示す形態では、推奨経路標示MKと推奨速度標示MVとが、互いに対応付けられて表示されている。具体的には、推奨速度標示MVは、推奨経路標示MKの表示領域に表示されている。
 図5は、概ね図3において実線で示す位置に車両100が存在する場合の実風景S及び推奨運転標示Mを例示している。この時、車両運転補助システム10は、図5中に破線で囲った部分に障害物Bが存在することを検出している。第1障害物B1は自転車に乗った人であり、第2障害物B2、第3障害物B3、第4障害物B4は歩行中の人である。ここでは、それぞれの障害物Bは移動する動的障害物である。車両運転補助システム10は、フロントカメラ1の撮影画像に基づいて障害物Bの存在を検出する。さらに、障害物Bが動的障害物である場合には、フロントカメラ1の撮影画像に基づき、例えばオプティカルフロー法などの公知の画像認識処理を用いて、動的障害物の移動軌跡を検出し、未来の移動方向を予測する(推定する)。ここではこのように推定された移動方向を推定移動方向と称する。例えば、図3において障害物Bから延びる一点鎖線で示す矢印は、当該障害物Bの推定移動方向を示している。
 車両運転補助システム10は、障害物Bの存在位置及び推定移動方向に基づき、障害物B(動的障害物を含む)が車両100の進行に与える影響度を演算する。例えば図3には、障害物Bに対して演算された影響度Eを例示している。ここでは、影響度Eは段階的に設定され、障害物Bに近い領域における第1影響度E1は、障害物Bから相対的に遠い領域における第2影響度E2よりも高い影響度Eである。1つの態様として、図3に示すように、車両運転補助システム10は、障害物Bが車両100の進行に影響すると推定される領域(例えば、第1影響度E1及び第2影響度E2が推定される領域)を可能な限り避けるように、推奨経路Kを設定する。つまり、車両100の進行方向に存在する障害物Bと車両100とが干渉する可能性が相対的に低い進行経路が推奨経路Kとして設定される。
 図5には、そのようにして設定された推奨経路Kが、推奨経路標示MKとして実風景Sに重畳されている形態を例示している。推奨経路標示MKは、実風景Sにおける障害物Bの位置に対応して表示される。図5に示すように、第1障害物B1及び第2障害物B2と車両100との間に、適切な間隔を設けて車両100が走行できるような推奨経路Kが推奨経路標示MKとして運転者に示される。推奨経路標示MKは、推奨速度標示MVと対応付けられて表示される。本実施形態では、推奨速度標示MVは、推奨経路標示MKの表示領域に表示され、推奨経路標示MKと一体となった推奨運転標示Mとして表示される。
 図5に示す形態では、推奨運転標示M(推奨経路標示MK)は、推奨経路Kに沿って複数の単位標示UMが配列されて形成されている。ここでは、推奨速度標示MVは、推奨経路Kに沿って並んだ単位標示UMの色彩を異ならせることによって表現されている。車両100の進行方向では、第1障害物B1及び第2障害物B2に車両100が近づく可能性があり、車両100は例えば徐行することが好ましい。このため、進行方向に沿って車両100の推奨速度は、低下することになる。図5には、手前側(車両100の側)に配置される単位標示UMが第1単位標示M1(例えば、白色や青色)で表示され、進行方向側に配置される単位標示UMが第2単位標示M2(例えば、黄色)で表示されている形態を例示している。
 第1単位標示M1及び第2単位標示M2の色彩は、認知工学的などに基づき、推奨速度が低いほど注意を喚起する色彩であると好適である。第1単位標示M1の白色や青色に比べて、第2単位標示M2の黄色は、一般的に、人により注意が必要であることを想起させる。また、推奨速度標示MVは、推奨経路K上の各地点での推奨速度指標を表示することによって、推奨経路標示MKと対応付けられて表示されている。例えば車両100に推奨される走行速度は、推奨経路K上の各地点によって異なる。推奨経路K上の各地点での推奨速度指標を推奨経路標示MKに対応付けて表示することで、運転者に対して、推奨経路Kをどのような走行速度で走行すれば適切であるかの情報を分かりやすく報知することができる。
 図6は、図5に比べて、車両100がさらに前方へ進行した場合の推奨運転標示Mを例示している。図5に比べると、第1障害物B1及び第2障害物B2に加えて、第3障害物B3及び第4障害物B4と車両100との距離も近づいている。このため、単位標示UMの色彩は、全て第2単位標示M2となり、車両100を徐行させることが推奨されている。
 図7は、図6に比べて、車両100がさらに前方へ進行した場合の推奨運転標示Mを例示している。図7では、図6と比べて特に第1障害物B1及び第4障害物B4が、車両100が進行する経路に接近している。このため、単位標示UMとして、第2単位標示M2よりもさらに注意を喚起する第3単位標示M3(例えば赤色)も用いられている。第3単位標示M3は、最徐行或いは停止を推奨するような推奨速度の場合に適用される。
 上記においては、図5から図7を参照して、推奨速度標示MVが、車両100に推奨される走行速度(後述する推奨速度指標の1つ)に応じて異なる色彩で表示される形態を例示して説明した。つまり、特に制約のない走行速度で車両100を走行させることができる場合には、図8に示すように、全ての推奨経路Kを第1単位標示M1(白色や青色)で構成する。一方、推奨経路Kを進行するに従って、走行速度を低下させる場合には、図9に示すように、第1単位標示M1から第2単位標示M2(黄色)を経て第3単位標示M3(赤色)となるように単位標示UMが配列される。
 尚、図5から図9では、それぞれ色彩の異なる単位標示UMを推奨経路Kに沿って配列することで、色彩のグラデーションを表現する形態を例示しているが、そのような形態に限定されるものではない。推奨経路標示MKが連続した線状に形成されており、1つの連続した標示の中で色彩が変化する形態であってもよい。
 尚、複数の単位標示UMが配列される形態では、推奨速度標示MVは、このように、推奨運転標示Mの色彩を異ならせる形態に限らず、単位標示UMが配置される形態を異ならせるものであってもよい。また、推奨経路標示MKが複数の単位標示UMを有する形態であっても、連続した線状の形態であっても、推奨速度標示MVは、推奨運転標示Mの色彩、形状、及び動きの少なくとも1つが、走行速度などの推奨速度指標に応じて異なる態様で表示される形態とすることができる。以下、図10から図15を参照してそのような形態について説明する。
 図10及び図11は、複数の単位標示UMの配置形態を異ならせて推奨速度標示MVを表す形態を例示している。つまり、複数の単位標示UMが配置される間隔Dを、走行速度などの推奨速度指標に応じて異ならせることによって、推奨速度標示MVが表示される形態を例示している。図10は、特に制約のない走行速度で車両100を走行させることができる場合を示しており、単位標示UMは、推奨経路Kに沿って第1間隔D1で配置されている。図11は、図10よりも遅い走行速度で車両100を走行させる場合の推奨速度標示MVを例示しており、単位標示UMは、推奨経路Kに沿って第1間隔D1よりも短い第2間隔D2で配置されている。単位標示UMの間隔Dを単位時間で車両100が進む距離に対応させて考えると、より間隔Dの短い第2間隔D2の場合には車両100の走行速度が低いことになり、運転者に徐行運転を促すことができる。
 図12及び図13は、推奨速度標示MVの動きが車両100の走行速度などの推奨速度指標に応じて異なる態様で表示される形態を例示している。具体的には、単位標示UMが推奨経路Kに沿って進行方向へ移動する移動速度Vを、走行速度などの推奨速度指標に応じて異ならせることによって、推奨速度標示MVを表している。図12は、特に制約のない走行速度で車両100を走行させることができる場合を示しており、単位標示UMは、推奨経路Kに沿って第1速度V1で車両100の進行方向へ移動する。図13は、図12よりも遅い走行速度で車両100を走行させる場合の推奨速度標示MVを例示しており、単位標示UMは、推奨経路Kに沿って第1速度V1よりも遅い第2速度V2で車両100の進行方向へ移動する。単位標示UMの移動速度を車両100の走行速度に対応させて考えると、より移動速度Vの遅い第2速度V2の場合には車両100の走行速度が低いことになり、運転者に徐行運転を促すことができる。
 尚、図12及び図13では、複数の単位標示UMをそれぞれ移動させることによって、推奨速度標示MVの動き(移動速度V)を表現する形態を例示しているが、そのような形態に限定されるものではない。1つの推奨経路標示MKが推奨経路Kに沿って移動してもよいし、連続した線状の推奨経路標示MKがスイープする形態(手前から順に消えていき、推奨経路Kの先端に達すると再度描画されることを繰り返すような形態)であってもよい。
 図14及び図15は、推奨速度標示MVの形状が車両100の走行速度などの推奨速度指標に応じて異なる態様で表示される形態を例示している。図14及び図15では、単位標示UMの形状を、推奨速度指標に応じて異ならせる形態を例示している。図14は、特に制約のない走行速度で車両100を走行させることができる場合を示している。単位標示UMは、同一の形状の第1単位標示M1が推奨経路Kに沿って配列されて形成されており、同一の形状の第1単位標示M1が並ぶことで推奨速度標示MVが表示されている。
 図15は、図14よりも遅い走行速度で車両100を走行させる場合の推奨速度標示MVを例示している。単位標示UMには、第1単位標示M1よりも遅い走行速度であることを示す形状の第2単位標示M2、第2単位標示M2よりも遅い走行速度を示す第3単位標示M3、第3単位標示M3よりも遅い走行速度を示す第4単位標示M4も含まれている。それぞれの単位標示UMは、進行方向に向かった先端部が有する角度(内角)が、走行速度が遅くなるに従って大きくなるように形成されている。つまり、第1単位標示M1よりも第2単位標示M2の方が先端部の角度が大きく、第2単位標示M2よりも第3単位標示M3の方が先端部の角度が大きい。また、第3単位標示M3よりも第4単位標示M4の方が先端部の角度が大きく、第4単位標示M4では先端部が直線状となっている。即ち、本例では、単位標示UMの先端部が有する角度(内角)は、180度を最大値としている。第1単位標示M1、第2単位標示M2、第3単位標示M3は、進行方向を示す矢印を想起させるように、五角形状に形成されているが、第4単位標示M4は矢印部分がない長方形状に形成されている。第4単位標示M4は、車両100を停止させることを推奨する推奨速度標示MVとすることができる。
 尚、図14及び図15では、複数の単位標示UMの形状をそれぞれ異なられることによって、走行速度指標を示す形態を例示しているが、そのような形態に限定されるものではない。1つの推奨経路標示MKが連続した線状に形成されており、当該1つの推奨経路標示MKの形状を変化させてもよい。例えば、連続した線状の1つの推奨経路標示MKの先端部を矢印状に尖った形状とし、当該先端部の形状を異ならせることによって走行速度などを表現してもよい。この場合、推奨される走行速度が速い場合には先端部が尖り、推奨される走行速度が遅くなるに従って先端部の角度が大きくなる(先鋭度が下がって平らになる)と好適である。
 尚、上記においては、推奨速度標示MVが示す走行速度指標が車両100に推奨される走行速度(絶対速度)である形態を例示した。つまり、推奨速度標示MVが、車両100の絶対速度に対応した表示形態で表示される形態を例示した。しかし、走行速度指標は、推奨経路Kを車両100が走行する場合に推奨される走行速度に関連する指標であれば、絶対速度に限定されるものではない。例えば、走行速度指標は、車両100に推奨される減速加速度及び車両100に許容される増速加速度を含む車両100の加速度であってもよい。従って、推奨速度標示MVは、車両100に推奨される減速加速度及び車両100に許容される増速加速度を含む車両100の加速度に対応した表示形態で表示されてもよい。
 図3を参照して上述したように、車両運転補助システム10は、障害物Bの存在位置及び推定移動方向に基づき、障害物B(動的障害物を含む)が車両100の進行に与える影響度を演算する。図3には、障害物Bに対して演算された影響度Eを例示しているが、影響度Eも標示として実風景Sに重畳されると好適である。本実施形態では、影響度Eに基づき、障害物Bの存在を運転者に報知して注意を喚起する注意喚起標示ME(影響度標示)として実風景Sに重畳される形態を例示する(図17参照)。
 尚、図3に示す第1影響度E1及び第2影響度E2のように、影響度Eが段階的に設定される場合には、注意喚起標示ME(影響度標示)も影響度Eの段階を示すような形態で表示されると好適である。また、図5から図15を参照して説明したように、推奨速度標示MVが、推奨経路標示MKの表示領域に表示されると共に複数段階の推奨速度指標を示す場合、推奨経路標示MKと注意喚起標示ME(影響度標示)とが重複する領域では、影響度Eの段階に対応して、推奨速度標示MVの段階を異ならせて推奨速度標示MVが表示されると好適である。
 図16は、注意喚起標示MEと推奨運転標示Mとの関係を図3のような平面図として示している。図3を参照して上述したように、障害物Bの周囲には、障害物Bの存在位置及び推定移動方向に基づいて影響度Eが段階的に設定される。上述したように、2段階の影響度Eとして、第1影響度E1及び第2影響度E2が設定されている場合、これらの設定範囲に応じて、注意喚起標示MEが生成される。第1影響度E1に応じて第1注意喚起標示ME1が生成され、第2影響度E2に応じて第2注意喚起標示ME2が生成される。
 推奨速度標示MVが推奨経路標示MKの表示形態を段階的に異ならせることによって表現され、推奨経路標示MKが注意喚起標示MEと重複する場合、注意喚起標示MEの段階の変化と推奨経路標示MKの表示形態の変化とを対応付けると、運転者への視認性が良く好適である。例えば、図16に示すように、注意喚起標示MEと推奨経路標示MKとが重複しない領域では、特に制約のない走行速度で車両100を走行させることができる第1単位標示M1によって推奨運転標示Mが形成される。車両100の進行に影響する第2影響度E2を示す第2注意喚起標示ME2と推奨経路標示MKとが重複する領域では、第2単位標示M2によって推奨運転標示Mが形成される。第2影響度E2よりも車両100の進行に影響する第1影響度E1を示す第1注意喚起標示ME1と推奨経路標示MKとが重複する領域では、第3単位標示M3によって推奨運転標示Mが形成される。
 尚、注意喚起標示MEの段階と推奨速度標示MVとの対応関係は、図16に示す形態に限定されるものではない。例えば、注意喚起標示MEと推奨経路標示MKとが重複しない領域であっても、他の要因等により、第1単位標示M1ではなく、第2単位標示M2によって推奨運転標示Mが形成されることを妨げるものではない。
 図17は、図7と同じ実風景Sに、推奨運転標示Mと注意喚起標示MEとが重畳された一例を示している。図17では、注意喚起標示MEと推奨経路標示MKとが重複しない領域において既に、第2単位標示M2によって推奨運転標示Mが形成されている。このため、第2影響度E2を示す第2注意喚起標示ME2と推奨経路標示MKとが重複する領域では、第2単位標示M2よりも低速であることを示す第3単位標示M3によって推奨運転標示Mが形成されている。図17には、第1注意喚起標示ME1と推奨経路標示MKとが重複する領域は例示されていないが、例えば当該領域では、図15を参照して説明した第4単位標示M4など車両100の停止を推奨するような推奨速度標示MVが示されると好適である。
 尚、上記においては、推奨速度標示MVが、推奨経路標示MKの表示領域に表示される形態を例示して説明したが、推奨経路標示MKと推奨速度標示MVとが互いに対応付けられて表示されていれば、推奨速度標示MVが推奨経路標示MKの表示領域外に表示される形態を妨げるものではない。例えば、図18に例示するように、連続した矢印状の推奨経路標示MKの横に、推奨速度を数値で示す推奨速度標示MVが添えられる形態であってもよい。当然ながら、推奨経路標示MKの横に添えられる推奨速度標示MVは、図18のような数値に限らず、色彩や形状や動きによって推奨速度指標を表現できるものであればよい。例えば、推奨経路標示MKに沿った側線の色彩のグラデーションや、側線の動き等によって推奨速度指標を表現してもよい。
〔実施形態の概要〕
 以下、上記において説明した車両運転補助システム(10)、車両運転補助方法、車両運転補助プログラムの概要について簡単に説明する。
 この車両運転補助システム(10)は、
 実風景(S)に推奨運転標示を重畳して表示する表示部を備え、
 前記推奨運転標示は、車両の進行方向に存在する1つ又は複数の障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路標示、及び前記推奨経路を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示を含み、
 前記推奨経路標示と前記推奨速度標示とは、互いに対応付けられて表示される。
 推奨経路標示(MK)と推奨速度標示(MV)とが対応付けられた推奨運転標示(M)を表示することで、運転者に対して、推奨経路(K)をどのような走行速度で走行すれば適切であるかの情報を分かりやすく適切に報知することができる。このように、本構成によれば、車両(100)の周辺の障害物(B)を回避して走行するために推奨される経路や速度などの情報を適切に運転者に報知することができる。
 ここで、前記推奨速度標示(MV)は、前記推奨経路標示(MK)の表示領域に表示されることによって、前記推奨経路標示(MK)と対応付けられて表示されると好適である。
 このように推奨速度標示(MV)が表示されると、共通の推奨運転標示(M)として、推奨される運転情報を簡潔に運転者に示すことができるので、運転者の視認性が高くなり、運転情報を認知し易くなる。
 また、前記推奨速度標示(MV)は、前記推奨経路(K)上の各地点での前記推奨速度指標を表示することによって、前記推奨経路標示(MK)と対応付けられて表示されると好適である。
 例えば車両(100)に推奨される走行速度は、推奨経路(K)上の各地点によって異なる。推奨経路(K)上の各地点での推奨速度指標を推奨経路標示(MK)に対応付けて表示することで、運転者に対して、推奨経路(K)をどのような走行速度で走行すれば適切であるかの情報を分かりやすく報知することができる。
 ここで、前記推奨速度標示(MV)は、前記車両(100)の絶対速度に対応した表示形態で表示されると好適である。
 このように、車両(100)の絶対速度、つまり車両(100)に推奨される走行速度に対応した標示形態で推奨速度標示(MV)を表示することで、運転者に対して推奨される走行速度を認知し易い態様で報知することができる。
 また、前記推奨速度標示(MV)は、前記車両(100)に推奨される減速加速度及び前記車両に許容される増速加速度を含む前記車両(100)の加速度に対応した表示形態で表示されても好適である。
 車両(100)の走行速度は、運転者の操作に基づく車両(100)の加速度に応じて変化する。このように、車両(100)の加速度に対応した標示形態で推奨速度標示(MV)を表示することで、運転者に対して、推奨される加速度に対応した運転操作を行い易い態様により、推奨される走行速度を報知することができる。
 また、前記推奨速度標示(MV)は、その色彩、形状、及び動きの少なくとも1つが、前記推奨速度指標に応じて異なる態様で表示されると好適である。
 推奨経路標示(MK)は実風景(S)の中での位置である経路を示す標示であるが、推奨速度標示(MV)は車両(100)の走行速度に関する指標、つまり程度を示す標示であるから、推奨経路標示(MK)に対応付けられていると共に程度を表すことができる表示であることが好ましい。そこで、推奨経路標示(MK)に対応付けると共に、推奨速度に応じて色彩、形状、及び動きの少なくとも1つを異ならせることによって、運転者に対して視覚的に推奨速度の程度を認知させることができる。このように、推奨速度標示(MV)が表現されると適切に推奨速度指標に含まれる情報を運転者に報知することができて好適である。
 また、前記推奨経路標示(MK)が、前記推奨経路(K)に沿って複数の単位標示(UM)が配列されたものであり、前記推奨速度標示(MV)が、複数の前記単位標示(UM)が配置される間隔(D)を、前記推奨速度指標に応じて異ならせて表示されると好適である。
 複数の単位標示(UM)の配列によって線状の推奨経路(K)を適切に表すことができる。そして、単位標示(UM)が配置される間隔(D)を異ならせることで程度を示す表現を付加することができる。推奨速度標示(MV)は車両(100)の走行速度に関する指標、つまり程度を示す標示であり、単位標示(UM)が配置される間隔(D)によって適切に推奨速度指標に含まれる情報を運転者に報知することができる。
 また、前記表示部(5)は、さらに、それぞれの前記障害物(B)が前記車両(100)の進行に与える影響度(E)を段階的に示す影響度標示(ME)を前記実風景(S)に重畳して表示し、前記推奨速度標示(MV)が、前記推奨経路標示(MK)の表示領域に表示されると共に複数段階の前記推奨速度指標を示し、前記推奨経路標示(MK)と前記影響度標示(ME)とが重複する領域では、前記影響度(E)の段階に対応して、前記推奨速度指標の段階を異ならせて前記推奨速度標示(MV)が表示されると好適である。
 影響度標示(ME)を表示することによって、運転者に対して推奨経路標示(MK)や推奨速度標示(MV)の根拠となる障害物(B)の存在を報知することができる。これにより、運転者に対して、推奨経路標示(MK)や推奨速度標示(MV)のみに依存することなく、障害物(B)も意識した運転操作を行わせることができる。
 上述した車両運転補助システム(10)の種々の技術的特徴は、車両運転補助方法や車両運転補助プログラムにも適用可能である。例えば、車両運転補助方法は、上述した車両運転補助システム(10)の特徴を備えたステップを有することができる。また、車両運転補助プログラムは、上述した車両運転補助システム(10)の特徴を備えた機能をコンピュータに実現させることが可能である。当然ながらこれらの車両運転補助方法及び車両運転補助プログラムも、上述した車両運転補助システム(10)の作用効果を奏することができる。さらに、車両運転補助システム(10)の好適な態様として例示した種々の付加的特徴を、これら車両運転補助方法や車両運転補助プログラムに組み込むことも可能であり、当該方法及び当該プログラムはそれぞれの付加的特徴に対応する作用効果も奏することができる。
 その場合における車両運転補助方法は、
 実風景(S)に推奨運転標示(M)重畳して表示部(5)に表示させる車両運転補助方法であって、
 前記推奨運転標示(M)は、車両(100)の進行方向に存在する1つ又は複数の障害物(B)と干渉する可能性が相対的に低い進行経路である推奨経路(K)を示す推奨経路標示(MK)、及び前記推奨経路(K)を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示(MV)を含み、
 前記推奨経路標示(MK)と前記推奨速度標示(MV)とを、互いに対応付けて表示させるステップを有する。
 また、車両運転補助プログラムは、
 実風景(S)に推奨運転標示(M)を重畳して表示部(5)に表示させる車両運転補助プログラムであって、
 前記推奨運転標示(M)は、車両(100)の進行方向に存在する1つ又は複数の障害物(B)と干渉する可能性が相対的に低い進行経路である推奨経路(K)を示す推奨経路標示(MK)、及び前記推奨経路(K)を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示(MV)を含み、
 前記推奨経路標示(MK)と前記推奨速度標示(MV)とを、互いに対応付けて表示させる機能をコンピュータ(4)に実現させる。
4   :演算処理ユニット(コンピュータ)
5   :表示装置(表示部)
10  :車両運転補助システム
51  :ヘッドアップディスプレイ(表示部)
52  :モニタ(表示部)
100 :車両
B   :障害物
D   :間隔
E   :影響度
K   :推奨経路
M   :推奨運転標示
ME  :注意喚起標示(影響度標示)
ME1 :第1注意喚起標示(第1影響度標示)
ME2 :第2注意喚起標示(第2影響度標示)
MK  :推奨経路標示
MV  :推奨速度標示
S   :実風景
UM  :単位標示
 

Claims (10)

  1.  実風景に推奨運転標示を重畳して表示する表示部を備え、
     前記推奨運転標示は、車両の進行方向に存在する1つ又は複数の障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路標示、及び前記推奨経路を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示を含み、
     前記推奨経路標示と前記推奨速度標示とは、互いに対応付けられて表示される車両運転補助システム。
  2.  前記推奨速度標示は、前記推奨経路標示の表示領域に表示されることによって、前記推奨経路標示と対応付けられて表示される請求項1に記載の車両運転補助システム。
  3.  前記推奨速度標示は、前記推奨経路上の各地点での前記推奨速度指標を表示することによって、前記推奨経路標示と対応付けられて表示される請求項1又は2に記載の車両運転補助システム。
  4.  前記推奨速度標示は、前記車両の絶対速度に対応した表示形態で表示される請求項1から3の何れか一項に記載の車両運転補助システム。
  5.  前記推奨速度標示は、前記車両に推奨される減速加速度及び前記車両に許容される増速加速度を含む前記車両の加速度に対応した表示形態で表示される請求項1から3の何れか一項に記載の車両運転補助システム。
  6.  前記推奨速度標示は、その色彩、形状、及び動きの少なくとも1つが、前記推奨速度指標に応じて異なる態様で表示される請求項1から5の何れか一項に記載の車両運転補助システム。
  7.  前記推奨経路標示は、前記推奨経路に沿って複数の単位標示が配列されたものであり、
     前記推奨速度標示は、複数の前記単位標示が配置される間隔を、前記推奨速度指標に応じて異ならせて表示される請求項1から6の何れか一項に記載の車両運転補助システム。
  8.  前記表示部は、さらに、それぞれの前記障害物が前記車両の進行に与える影響度を段階的に示す影響度標示を前記実風景に重畳して表示し、
     前記推奨速度標示が、前記推奨経路標示の表示領域に表示されると共に複数段階の前記推奨速度指標を示し、
     前記推奨経路標示と前記影響度標示とが重複する領域では、前記影響度の段階に対応して、前記推奨速度指標の段階を異ならせて前記推奨速度標示が表示される請求項1から7の何れか一項に記載の車両運転補助システム。
  9.  実風景に推奨運転標示を重畳して表示部に表示させる車両運転補助方法であって、
     前記推奨運転標示は、車両の進行方向に存在する1つ又は複数の障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路標示、及び前記推奨経路を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示を含み、
     前記推奨経路標示と前記推奨速度標示とを、互いに対応付けて表示させるステップを有する車両運転補助方法。
  10.  実風景に推奨運転標示を重畳して表示部に表示させる車両運転補助プログラムであって、
     前記推奨運転標示は、車両の進行方向に存在する1つ又は複数の障害物と干渉する可能性が相対的に低い進行経路である推奨経路を示す推奨経路標示、及び前記推奨経路を走行する場合に推奨される走行速度に関連する指標である推奨速度指標を示す推奨速度標示を含み、
     前記推奨経路標示と前記推奨速度標示とを、互いに対応付けて表示させる機能をコンピュータに実現させる車両運転補助プログラム。
     
PCT/JP2018/027129 2017-11-17 2018-07-19 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム WO2019097764A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/649,274 US20200284605A1 (en) 2017-11-17 2018-07-19 Vehicle driving assistance system, vehicle driving assistance method, and vehicle driving assistance program
EP18877551.4A EP3667641A4 (en) 2017-11-17 2018-07-19 VEHICLE DRIVING ASSISTANCE SYSTEM, METHOD AND PROGRAM
CN201880066998.1A CN111213196A (zh) 2017-11-17 2018-07-19 车辆驾驶辅助系统、车辆驾驶辅助方法以及车辆驾驶辅助程序

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017222159A JP2019095851A (ja) 2017-11-17 2017-11-17 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP2017-222159 2017-11-17

Publications (1)

Publication Number Publication Date
WO2019097764A1 true WO2019097764A1 (ja) 2019-05-23

Family

ID=66538556

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/027129 WO2019097764A1 (ja) 2017-11-17 2018-07-19 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム

Country Status (5)

Country Link
US (1) US20200284605A1 (ja)
EP (1) EP3667641A4 (ja)
JP (1) JP2019095851A (ja)
CN (1) CN111213196A (ja)
WO (1) WO2019097764A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413302B2 (ja) 2021-03-17 2024-01-15 株式会社日立製作所 管制制御システム、走行制御装置及び管制制御方法

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112020000391T5 (de) 2019-01-10 2021-10-07 Jaguar Land Rover Limited Ein Steuerungssystem, System und Verfahren zur Unterstützung einesFahrzeuginsassen
GB2580400B (en) * 2019-01-10 2021-11-03 Jaguar Land Rover Ltd A control system, system and method for providing assistance to an occupant of a vehicle
KR102270502B1 (ko) * 2019-10-24 2021-06-30 네이버랩스 주식회사 주행 정보 안내 방법 및 시스템
JP2022186190A (ja) * 2021-06-04 2022-12-15 トヨタ自動車株式会社 車両用表示装置、車両用表示システム、車両用表示方法及びプログラム
CN113561782A (zh) * 2021-08-25 2021-10-29 武汉宇磐科技有限公司 一种车辆能量回收方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003880A (ja) * 2006-06-23 2008-01-10 Honda Motor Co Ltd 車両周辺監視システム、車両周辺監視プログラム、車両周辺監視システムの構築方法およびサーバ
JP2010079449A (ja) * 2008-09-24 2010-04-08 Fujitsu Ten Ltd 運転支援装置及び運転支援方法
JP2017033542A (ja) 2015-07-29 2017-02-09 株式会社デンソー 情報表示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5407764B2 (ja) * 2009-10-30 2014-02-05 トヨタ自動車株式会社 運転支援装置
US20120242505A1 (en) * 2010-03-16 2012-09-27 Takashi Maeda Road-vehicle cooperative driving safety support device
EP2752833B1 (en) * 2011-08-31 2016-05-18 Nissan Motor Company, Limited Vehicle driving assistance device
US8818708B2 (en) * 2011-12-02 2014-08-26 GM Global Technology Operations LLC Optimum driving path on full windshield display
JP5724864B2 (ja) * 2011-12-13 2015-05-27 アイシン・エィ・ダブリュ株式会社 表示システム、表示方法、及び表示プログラム
BR112016004552B1 (pt) * 2013-08-29 2021-02-17 Nissan Motor Co., Ltd. dispositivo e método de orientação de condução de veículo
WO2015111213A1 (ja) * 2014-01-27 2015-07-30 パイオニア株式会社 表示装置、制御方法、プログラム、及び記憶媒体
JP6688655B2 (ja) * 2016-03-31 2020-04-28 株式会社Subaru 車両状態監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008003880A (ja) * 2006-06-23 2008-01-10 Honda Motor Co Ltd 車両周辺監視システム、車両周辺監視プログラム、車両周辺監視システムの構築方法およびサーバ
JP2010079449A (ja) * 2008-09-24 2010-04-08 Fujitsu Ten Ltd 運転支援装置及び運転支援方法
JP2017033542A (ja) 2015-07-29 2017-02-09 株式会社デンソー 情報表示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3667641A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7413302B2 (ja) 2021-03-17 2024-01-15 株式会社日立製作所 管制制御システム、走行制御装置及び管制制御方法

Also Published As

Publication number Publication date
CN111213196A (zh) 2020-05-29
JP2019095851A (ja) 2019-06-20
EP3667641A4 (en) 2020-08-26
EP3667641A1 (en) 2020-06-17
US20200284605A1 (en) 2020-09-10

Similar Documents

Publication Publication Date Title
WO2019097764A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
WO2019098216A1 (ja) 車両運転補助システム、車両運転補助方法、及び車両運転補助プログラム
JP6051307B2 (ja) 運転支援装置
US11008016B2 (en) Display system, display method, and storage medium
US10293748B2 (en) Information presentation system
US11486726B2 (en) Overlaying additional information on a display unit
US10789490B2 (en) Method for calculating a display of additional information for an advertisement, a display unit, apparatus for carrying out the method, and transportation vehicle and computer program
US8536995B2 (en) Information display apparatus and information display method
US20190317600A1 (en) Apparatus and a method for controlling a head-up display of a vehicle
CN113784861B (zh) 显示控制方法及显示控制装置
US20220212689A1 (en) Display Control Method and Display Control Device
JP2006284458A (ja) 運転支援情報表示システム
US11904688B2 (en) Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
JP5898539B2 (ja) 車両走行支援システム
JP6969509B2 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
JP2017004210A (ja) 経路設定装置及び自動走行制御システム
US11274934B2 (en) Information output device, output control method, and storage medium
JP7400242B2 (ja) 車両用表示制御装置および車両用表示制御方法
JP6206121B2 (ja) 運転支援装置および運転支援方法
WO2019220884A1 (ja) 運転支援装置
JP2020095033A (ja) 表示制御装置および表示制御プログラム
JP2019060623A (ja) 運転支援システムおよび運転支援プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18877551

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018877551

Country of ref document: EP

Effective date: 20200312

NENP Non-entry into the national phase

Ref country code: DE