WO2019166222A1 - Verfahren zur berechnung einer ar-einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm - Google Patents

Verfahren zur berechnung einer ar-einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm Download PDF

Info

Publication number
WO2019166222A1
WO2019166222A1 PCT/EP2019/053461 EP2019053461W WO2019166222A1 WO 2019166222 A1 WO2019166222 A1 WO 2019166222A1 EP 2019053461 W EP2019053461 W EP 2019053461W WO 2019166222 A1 WO2019166222 A1 WO 2019166222A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
display
calculated
driver
oncoming
Prior art date
Application number
PCT/EP2019/053461
Other languages
English (en)
French (fr)
Inventor
Andro Kleen
Robert Jan Wyszka
Vitalij SADOVITCH
Adrian HAAR
Johannes Tümler
Michael Wittkämper
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Priority to CN201980016739.2A priority Critical patent/CN111937044B/zh
Priority to US16/977,059 priority patent/US11904688B2/en
Priority to EP19705167.5A priority patent/EP3759694A1/de
Publication of WO2019166222A1 publication Critical patent/WO2019166222A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/165—Videos and animations
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/178—Warnings
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/179—Distances to obstacles or vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/205—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using a head-up display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects

Definitions

  • the proposal concerns the technical field of driver information systems, also known as infotainment systems. In particular, this involves a method for displaying a safety zone in front of a vehicle or an object on a display unit. Such systems are used primarily in vehicles. But there is also the possibility of using the invention in pedestrians, cyclists, etc. with data glasses. The proposal continues to cover a correspondingly designed one
  • a first approach is not to completely relieve the driver of his duties, but to ensure that the driver can always take control of the vehicle. The driver also takes
  • HUD Head-Up Display
  • Vehicle sensors are in particular the following components are called, which allow an environment observation: RADAR devices according to Radio Detection and Ranging, LIDAR devices, according to Light Detection and Ranging, mainly for distance detection / warning, and cameras with appropriate image processing for the field of object recognition.
  • This data on the environment can be used as a basis for system-side driving recommendations, warnings, etc.
  • display / warn in which direction (possibly in the own trajectory) another, surrounding vehicle wants to turn.
  • the vehicle-to-vehicle communication is now also possible by means of mobile communication with systems such as LTE according to Long Term Evolution.
  • LTE V2X was adopted by the 3GPP organization.
  • systems based on WLAN technology for direct vehicle communication are available, in particular the system according to WLAN p.
  • Autonomous driving (sometimes also called automatic driving, automated driving or piloted driving) is the movement of vehicles, mobile robots and driverless transport systems to understand the largely autonomous behavior. There are different gradations of the term autonomous driving. Autonomous driving is also discussed at certain stages when there is still a driver in the vehicle who, if necessary, only takes over the monitoring of the automatic driving process. In Europe, the various ceremonies of transport (in Germany the Federal Highway Research Institute was involved) worked together and the following
  • Level 0 Driver only, the driver drives, steers, accelerates, brakes, etc.
  • Level 1 Certain assistance systems help with vehicle operation (including a cruise control system - Automatic Cruise Control ACC).
  • Level 3 high automation. The driver does not have to keep the system permanently
  • the vehicle autonomously performs functions such as triggering the turn signal, lane change and lane keeping.
  • the driver can turn to other things, but if necessary within a warning time of the system
  • a future vision in the automotive industry is to be able to record the windscreen of one's own vehicle with virtual elements in order to offer the driver some advantages.
  • the so-called "augmented reality” technology (AR) is used. Less familiar is the corresponding German-language term of "augmented reality”.
  • the real environment is enriched with virtual elements. This has several advantages: The view down, on displays other than the windshield, is eliminated, since many relevant information is displayed on the windshield. So the driver does not have to avert his gaze from the road. In addition, due to the positionally exact sclerosing of the virtual elements in the real environment, a lesser cognitive effort on the part of the driver is likely because no interpretation of a graphic must be done on a separate display. With regard to automatic driving, an added value can also be generated.
  • HUD Head-Up Displays
  • Projection units that project an image on the windshield.
  • this image is a few meters to 15 meters, depending on the design of the module in front of the vehicle. This has the advantage that the displayed information is presented in such a way that the eyes of the driver are even relieved of accommodation activity.
  • the “image” is composed as follows: It is less a virtual display, but rather a kind of "keyhole” in the virtual world.
  • the virtual environment is theoretically placed over the real world and contains the virtual objects that support and inform the driver while driving. The limited
  • Display area of the HUD has the consequence that a section of it can be seen.
  • a head-up display unit for a vehicle for generating a virtual image in the field of view of the driver is known. This results in a situation-based adapted representation of information.
  • DE 10 2013 016 241 A1 discloses a method for augmented presentation of at least one additional piece of information in at least one recorded digital image
  • the additional information in particular event-driven and optionally alternately, as a 2D representation and / or output as a 3D representation.
  • an additional information output as an additional object eg. B. a virtual road sign, in 3D presentation and / or issued as additional text additional information, in particular a caption of a real or virtual object in the output image, are displayed in 2D representation in the output image.
  • Representation method with the most accurate contact-analogous placement of the virtual objects and thus the closest possible placement, for example GPS position, the virtual objects on each associated real object allows the invention by outputting the virtual additional information in a previously determined display region that the virtual additional information is optimally placed , in particular taking into account a
  • Image overlay element in an image of a surrounding area of a motor vehicle known.
  • the image is displayed on a display surface of the motor vehicle.
  • at least one object from the surrounding area is imaged in the image.
  • the image overlay element is motion-coupled to the object and is shown moving the object with this carried at the same location on the object, depending on a change of direction and / or resizing the direction and / or size of the image overlay element to the appropriate change of the object is adjusted. So it can be provided that the
  • Image superposition element is adapted to the surface of the roadway. If the roadway is now rising, for example, because it is uphill, then this can be done on the basis of
  • Three-dimensional information about the object can be detected, and the representation of the image overlay element can with respect to the orientation and design
  • HUD head-up display
  • Ambient condition and / or a condition affecting the physiology of the user are Ambient condition and / or a condition affecting the physiology of the user.
  • AR augmented reality
  • the processing of this information can change situationally and lead to misinterpretations or Misunderstandings. This can lead to dangerous situations.
  • the driver is displayed on a conventional display of the navigation route, although the route to be traveled, it is characterized but not clearly enough that a
  • the invention sets itself the task of finding such an approach.
  • This object is achieved by a method for calculating a fade of
  • the insertion of additional information serves the purpose of assisting the driver in the longitudinal and transverse guidance of the vehicle.
  • the solution is to animate the elements of AR inserts, such as lines, surfaces, and other geometric elements, through "physical" behaviors.
  • the invention relates to a method for calculating an AR display, corresponding to "augmented reality" insertion, of additional information for a display on a display unit, in particular a head-up display (HUD) of an observer vehicle or data glasses, wherein the Display of
  • the AR overlay is calculated in the manner of augmented reality in accordance with "augmented reality" in a contact-analogous manner to one or more objects in the environment of the observer vehicle.
  • the position of an oncoming or preceding vehicle or object is detected.
  • a spatially extended animation graphic is calculated, wherein the animation graphic has a raster form consisting of a plurality of raster elements, which differs from the
  • Observer vehicle extends to the oncoming or preceding vehicle.
  • a special feature is that the spatial extent is calculated in such a way that the driver of the observer vehicle has the impression of a kinematic or dynamic movement of the spatial extent, such as translation and rotation.
  • the spatial extent is calculated in such a way that the driver of the observer vehicle is given the impression of a shaft moving or moving away from him.
  • the animation with a waveform can be designed so that the wave can travel on the X, Y, or Z axis.
  • the animation graphic is calculated to periodically repeat the spatial extent of the animation graphic, giving the driver of the observer vehicle the impression that a number of wave trains are moving toward or away from him.
  • one or two spatially extended animation graphics are calculated to support the lateral guidance of the vehicle, which are displayed laterally of the route, the further animation graphics having a grid shape consisting of a plurality of raster elements, and the spatial extent is calculated so that the side where an obstacle or an oncoming vehicle has been detected, the grid is spatially set up to emphasize a narrowing of the route.
  • the goal of towering elements is to better communicate warnings.
  • the piling / extrusion of elements can be done in any axis to any proportions.
  • Animated graphics is calculated so that the at least one grid-shaped
  • the conversion of the animation graphics is calculated so that the raster elements of the animation graphics to support the lateral guidance during the conversion phase swarming, from which at the end of the conversion phase, the hint symbol arises.
  • the swarming behavior of the lines, surfaces, and geometric elements that cluster at each coordinate in the real world creates a superposition and an automatic increase in visual intensity.
  • This "bundling" of elements can be e.g. be used for functions of the area and object marking, but also for the indication of a navigation path or an attention control.
  • the display unit of the device is designed as a head-up display.
  • a data goggle or a monitor can be used in the device as a display unit, on which a camera image is displayed, in which the grid is displayed.
  • the device according to the invention can be used in a motor vehicle.
  • the invention is preferably realized so that the display unit is permanently installed in the vehicle, e.g. in the form of a head-up display.
  • the invention can also be advantageously used if the display unit corresponds to data glasses. Then, the invention can be
  • Fig. 2 shows the typical cockpit of a vehicle
  • FIG. 3 shows the block diagram of the infotainment system of the vehicle
  • Fig. 4 is an illustration of a wave-shaped arched Rastereinblendung for
  • FIG. 5 shows an illustration of a grid insertion for highlighting a narrowing of the travel path
  • FIG. 6 is an illustration of a flock-like conversion of a grid-shaped AR fade to an instruction to the driver in the example of the lane narrowing
  • FIG. 7 is an illustration of three basic levels of driver overlay information and;
  • FIG. FIG. 8 is a flow chart for a program for calculating the AR fades for the three basic levels.
  • Fig. 1 illustrates the basic operation of a head-up display.
  • the head-up display 20 is in the vehicle 10 below / behind the instrument cluster in
  • Additional information is displayed in the driver's field of vision.
  • This additional information appears as if it were projected onto a projection surface 21 at a distance of 7 - 15 m in front of the vehicle 10.
  • the additional information displayed creates a kind of virtual environment.
  • the virtual environment is theoretically placed over the real world and contains the virtual objects that support and inform the driver while driving. However, it is only projected onto a part of the windshield, so that the additional information can not be arbitrarily arranged in the field of vision of the driver.
  • Fig. 2 shows the cockpit of the vehicle 10. Shown is a passenger car. As vehicle 10, however, any other vehicles would also be considered. Examples of other vehicles are: buses, commercial vehicles, especially trucks trucks, agricultural machinery, construction machinery, rail vehicles, etc. The use of the invention would be generally in land vehicles, rail vehicles, watercraft and aircraft possible.
  • the cockpit three display units of an infotainment system are shown. It is the head-up display 20 and a touch-sensitive screen 30 which is mounted in the center console.
  • the center console When driving, the center console is not in the driver's field of vision. Therefore, the additional information is not displayed on the display unit 30 while driving.
  • the touch-sensitive screen 30 serves in particular for the operation of functions of the vehicle 10. For example, about a radio, a radio, a radio, a
  • infotainment is a boxword word composed of the words information and entertainment (entertainment).
  • touch screen To operate the infotainment system mainly the touch-sensitive screen 30 ("touch screen") is used, this screen 30 can be well viewed and operated in particular by a driver of the vehicle 10, but also by a passenger of the vehicle 10.
  • mechanical operating elements for example keys, rotary encoders or combinations thereof, such as, for example, a push-dial regulator, can be arranged in an input unit 50.
  • This unit is not shown separately, but is considered part of the input unit 50.
  • the operation device includes the touch-sensitive display unit 30, a calculator 40, an input unit 50, and a memory 60.
  • the display unit 30 includes both a display surface for displaying variable graphic information and a control surface (touch-sensitive layer) disposed above the display surface
  • the display unit 30 is connected to the computing device 40 via a data line 70
  • the data line can be designed according to the LVDS standard, corresponding to Low Voltage Differential Signaling.
  • the display unit 30 receives control data for driving the display surface of the touch screen 30 from the
  • Computing device 40 Via the data line 70 are also control data of
  • Reference numeral 50 denotes the input unit. It is associated with the already mentioned control elements such as buttons, knobs, sliders, or rotary pushbuttons, with the help of which the operator can make inputs via the menu. Input is generally understood as selecting a selected menu item, as well as changing a parameter, turning a function on and off, and so on.
  • the memory device 60 is connected to the computing device 40 via a data line 80.
  • a pictogram directory and / or symbol directory deposited with the pictograms and / or symbols for the possible overlays of additional information.
  • the points / symbols can be stored, which serve as the basis for the calculation of the raster overlay.
  • the other parts of the infotainment system camera 150, radio 140, navigation device 130, telephone 120 and instrument cluster 110 are connected via the data bus 100 with the device for operating the infotainment system.
  • the data bus 100 is the high-speed variant of the CAN bus according to ISO standard 11898-2.
  • Ethernet-based bus system such as BroadR-Reach in question.
  • Bus systems in which the data is transmitted via optical fibers can also be used. Examples are the MOST Bus (Media Oriented System Transport) or the D2B Bus (Domestic Digital Bus).
  • the camera 150 can be designed as a conventional video camera. In this case, it will record 25 frames / s, which is equivalent to 50 fields / s in the interlace recording mode.
  • the vehicle 10 is with a special camera that captures more images / sec to increase the accuracy of object detection on faster moving objects.
  • a special camera can be used that captures more images / sec to increase the accuracy of object detection on faster moving objects.
  • Several cameras can be used for monitoring the environment.
  • the already mentioned RADAR or LIDAR systems could be used in addition or alternatively to carry out or expand the field observation.
  • the vehicle 10 is with a
  • Communication module 160 equipped. This module is often referred to as an on-board unit. It can be used for mobile communication, e.g. according to LTE standard,
  • WLAN communication according to Long Term Evolution, be designed.
  • wireless LAN it for the communication to devices of the occupants in the vehicle or for the vehicle-to-vehicle communication etc.
  • a driver assistance system for longitudinal guidance of the vehicle 10 is used.
  • assistance systems are an automatic distance control ACC, according to Adaptive Cruise Control, and a cruise control system GRA, according to cruise control system.
  • the invention would also be used in the same way, if the vehicle 10 would be controlled fully automatically.
  • the following describes what steps are taken when the vehicle 10 with the longitudinal guidance system activated, here an ACC system, approaches the preceding vehicle 300, detects it and adapts its speed to the preceding vehicle 300. This is done so that a previously entered safety distance is maintained.
  • a grid-shaped AR overlay is calculated for the path predicted by the navigation system. This displays the route to the driver without obscuring important information of the real scene.
  • the basic idea and technique of the raster-shaped AR overlay is shown in applicant's co-pending patent application DE 10 2017 212 367. It is also expressly referred to the co-pending application with respect to the disclosure of the invention described herein.
  • the basis of the display according to the invention of the longitudinal and / or transverse guidance function of the vehicle 10 on the HUD 20 is the display of a virtual grid 24 along the route, which is displayed at a distance above the actual road or without distance to the road.
  • the road is located as a real road course in the field of vision of the driver.
  • the special feature of the new proposal is that not only the track is marked with the grid 24, but also an event that is connected to the track.
  • the event in the example shown in FIG. 4, is that a vehicle 300 is approaching on the roadway, by which, after estimation of
  • the danger potential which leads to the AR-insertion of the event, consists in the case shown in by the relative movement of both moving towards each other vehicles 10, 300, taking into account possible objects or
  • Danger potential made aware. This is done, as shown in Fig. 4, by the calculation of a spatially extended AR fade.
  • On the urgency of the Hazard potential is indicated by the fact that the spatial extent starting from the oncoming vehicle 300 moves towards the observer vehicle 10. This creates for the driver of the observer vehicle 10, the impression of a tapering shaft on him. It can be a wave crest or several wave peaks are shown, which move towards the observer vehicle 10.
  • the AR display is preferably calculated in perspective. As a result, a wave crest towers more and more in front of the observer vehicle 10, which increasingly points to the urgency of the imminent danger.
  • FIG. 5 shows an example of an AR overlay which indicates the imminent
  • Lane course a left grid 26a and a right grid 28a is displayed. These extend from the observer vehicle 10 to the oncoming or
  • the grid 26a and 28a position themselves spatially laterally outward.
  • the spatial arrangement is preferably such that it increases in front of the bottleneck and subsides after the bottleneck.
  • Fig. 6 shows the case that the impending constriction of the driveway of the
  • Longitudinal guidance system is estimated so that the risk of collision or contact with the oncoming vehicle 300 is estimated to be too large.
  • an AR overlay is computed which gives the driver an action to what needs to be done to avoid a collision or touch.
  • the action statement is designed as a dodge arrow 28b. So that the driver understands the handling instruction directly and intuitively, it is not simply superimposed on the position of the escape point but is also specially shaped by the sequence of its formation. This is done so that the symbol of the escape arrow 28b arises from the points of the right grid 28a.
  • the points of the right-hand grid 28a are animated in such a way that they move in a swarming manner and finally accumulate in such a way that they create the escape arrow 28b.
  • Fig. 6 is also shown that the points of the left grid 26 a for
  • Shift side guide so that they mark the alleged route of the oncoming vehicle 300.
  • Fig. 7 shows a variant of how the various AR overlays can be combined. It is shown that the grid 24 with the representation of
  • Hazard potential of an event together with the grids 26a and 28a to Side guide are displayed. This can be done to better distinguish in different colors.
  • the grid 24 is shown in red and the grid 26a and 28a in yellow.
  • a computer program for the calculation of the AR fades is explained with reference to FIG. 8.
  • the program is processed in the arithmetic unit 40.
  • the program start is designated by the reference numeral 405.
  • the detection of an oncoming vehicle 300 takes place.
  • the images supplied by the camera 150 are provided with those intended for this purpose
  • the distance to the oncoming vehicle 300 is estimated and also the relative speed between the
  • Instantaneous speed of the oncoming vehicle can be estimated by continuous image evaluation of the images supplied by the camera 150.
  • the instantaneous speed may be transmitted via car-2-car communication from the oncoming vehicle 300 to the observer vehicle 10. After the oncoming vehicle 300 has been detected and the distance and relative speed have been estimated, the calculation of the grid 24 with the corresponding spatial extent takes place in the program step 415.
  • the grid 24 is calculated in perspective. The calculation continues to be such that the grid expands to the oncoming vehicle 300.
  • program step 420 the calculated data for the grid 24 is transmitted to the head-up display 20. This performs the insertion of the grid 24, as seen in Fig. 4.
  • program step 425 objects or obstacles are detected at the roadside. As shown in Figures 4, 5 and 6, parking vehicles are located on the right lane edge in parking bays.
  • program step 430 a dynamic calculation of bottlenecks takes place. This is done as follows: The parked vehicle 310 is still at a distance from the observer vehicle 10. The oncoming vehicle 300 moves so that it arrives at approximately the level of the parked vehicle 310, even though the observer vehicle 10 passes the parked vehicle 310 , Thus, a bottleneck only arises in the future through the coincidence of
  • Program step 440 the calculated data for the rasters 26a and 28a are transmitted to the head-up display 20.
  • program step 445 a calculation of the risk potential of the identified bottleneck takes place.
  • the program step 455 a calculation of the animation for the conversion of
  • the animation consists in that the dots of the grid 28a move in a swarming manner and at the end of their arrangement form the evasion symbol. If no hazard potential is detected, the program branches back to program step 410. In step 460, the data calculated for the AR overlay animation is transmitted to the HUD 20.
  • a loop is formed in the program, which is run through until a state change takes place.
  • the state change is given when the driver intervenes and leaves the comfort function or shuts down the vehicle. Then the program ends in program step 465.
  • Special purpose processors may include Application Specific Integrated Circuits (ASICs), Reduced Instruction Set Computer (RISC), and / or Field Programmable Gate Arrays (FPGAs).
  • ASICs Application Specific Integrated Circuits
  • RISC Reduced Instruction Set Computer
  • FPGAs Field Programmable Gate Arrays
  • the proposed method and apparatus is implemented as a combination of hardware and software.
  • the software is preferably implemented as an application program on a program storage device Installed. Typically, it is a machine based on a computer platform that has hardware, such as one or more
  • CPU Central processing units
  • RAM random access memory
  • I / O Input / output interface
  • the computer platform also typically installs an operating system.
  • the various processes and functions described herein may be part of the application program or part that is executed via the operating system.
  • the invention can always be used when the field of view of a driver, an operator or even just a person with data glasses can be enriched with AR impressions.

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Instrument Panels (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Berechnung einer Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit (20), insbesondere ein Head-Up Display (HUD) eines Fahrzeuges (10) oder eine Datenbrille. Dabei dient die Einblendung von Zusatzinformationen dem Zweck der Unterstützung des Fahrers bei der Längsführung eines Fahrzeuges (10). Die Einblendung der Zusatzinformation geschieht nach Art der erweiterten Realität so, dass sie kontaktanalog zu einem oder mehreren Objekten in der Umwelt des Fahrzeuges (10) berechnet wird. Dabei wird die Lage eines vorausfahrenden Fahrzeuges (300) erfasst. Bei Annäherung an das entgegenkommende oder vorausfahrende Fahrzeug (300) wird eine räumlich ausgedehnte Animationsgrafik berechnet, wobei die Animationsgrafik eine Rasterform bestehend aus einer Vielzahl von Rasterelementen (305) aufweist, die sich von dem Beobachterfahrzeug bis zu dem entgegenkommenden oder vorausfahrenden Fahrzeug (300) erstreckt. Die räumliche Ausdehnung wird so berechnet, dass für den Fahrer des Beobachterfahrzeuges (10) der Eindruck einer kinematischen oder dynamischen Bewegung der räumlichen Ausdehnung, wie Translation und Rotation, entsteht.

Description

Beschreibung
Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
Der Vorschlag betrifft das technische Gebiet von Fahrerinformationssystemen, die auch unter dem Begriff Infotainmentsystem bekannt sind. Dabei geht es im Besonderen um ein Verfahren zur Anzeige einer Sicherheitszone vor einem Fahrzeug oder einem Objekt auf einer Anzeigeeinheit. Solche Systeme werden vor allem in Fahrzeugen eingesetzt. Es besteht aber auch die Möglichkeit des Einsatzes der Erfindung bei Fußgängern, Radfahrern, etc. mit Datenbrille. Der Vorschlag betrifft weiterhin eine entsprechend ausgelegte
Vorrichtung zur Durchführung des Verfahrens sowie ein Kraftfahrzeug und ein
Computerprogramm.
Zur Zeit wird intensiv an Technologien gearbeitet, die später ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei, den Fahrer nicht komplett von seinen Aufgaben zu entlasten, sondern dafür Sorge zu tragen, dass der Fahrer jederzeit die Steuerung des Fahrzeuges übernehmen kann. Der Fahrer nimmt außerdem
Überwachungsfunktionen wahr. Durch neuere Technologien im Bereich der
Fahrerinformationssysteme wie Head-Up Display (HUD) ist es möglich, den Fahrer besser über das Geschehen im Umfeld seines Fahrzeuges zu informieren.
Für die nahe Zukunft ist deshalb davon auszugehen, dass systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Fahrzeugsensorik etc.) umfassende Informationen über Objekte (insbesondere Fahrzeuge) im direkten Umfeld des eigenen Fahrzeuges verfügbar sein werden. Im Bereich
Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung/-warnung, und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Diese Daten über die Umwelt können als Basis für systemseitige Fahrempfehlungen, Warnungen etc. herangezogen werden. Beispielsweise sind so Anzeigen/Warnungen darüber denkbar, in welche Richtung (möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will. Die Fahrzeug-zu-Fahrzeug-Kommunikation ist mittlerweile auch mittels Mobilkommunikation mit Systemen wie LTE entsprechend Long Term Evolution möglich. Hier wurde von der Organisation 3GPP eine Spezifikation mit Namen LTE V2X verabschiedet. Als Alternative stehen auf WLAN-Technologie beruhende Systeme für die Fahrzeug-Direktkommunikation zur Verfügung, insbesondere das System nach WLAN p.
Der Begriff„autonomes Fahren“ wird in der Literatur teilweise unterschiedlich benutzt.
Zur Klärung dieses Begriffs wird deshalb hier noch folgender Einschub präsentiert. Unter autonomem Fahren (manchmal auch automatisches Fahren, automatisiertes Fahren oder pilotiertes Fahren genannt) ist die Fortbewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen zu verstehen, die sich weitgehend autonom verhalten. Es gibt verschiedene Abstufungen des Begriffs autonomes Fahren. Dabei wird auf bestimmten Stufen auch dann von autonomem Fahren gesprochen, wenn noch ein Fahrer im Fahrzeug befindlich ist, der ggfs nur noch die Überwachung des automatischen Fahrvorgangs übernimmt. In Europa haben die verschiedenen Verkehrsministerien (in Deutschland war die Bundesanstalt für Straßenwesen beteiligt) zusammengearbeitet und die folgenden
Autonomiestufen definiert.
• Level 0:„Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst etc.
• Level 1 : Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung (u.a. ein Abstandsregelsystem - Automatic Cruise Control ACC).
• Level 2: Teilautomatisierung. U.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, Beschleunigen, Abbremsen etc. werden von den
Assistenzsystemen übernommen (u.a. Stauassistent).
• Level 3: Hochautomatisierung. Der Fahrer muss das System nicht dauernd
überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System
aufgefordert, die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3- Fahrzeuge zuzulassen. Die gesetzlichen Rahmenbedingungen wurden dafür bereits geschaffen.
• Level 4: Vollautomatisierung. Die Führung des Fahrzeuges wird dauerhaft vom
System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen. • Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.
Automatisierte Fahrfunktionen ab Stufe 3 nehmen dem Fahrer die Verantwortung für die Steuerung des Fahrzeuges ab.
Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge und nicht erst langfristig für hochautomatisierte Systeme genutzt werden können.
Für die Fahrer-Fahrzeug-Interaktion stellt sich hierbei die Frage, wie diese Informationen so dargestellt werden können, dass ein echter Mehrwert für den menschlichen Fahrer entsteht und er die bereitgestellten Informationen auch schnell, respektive intuitiv, verorten kann. Folgende Lösungen in diesem Bereich sind dabei schon aus dem Stand der Technik bekannt.
Eine Zukunftsvision in der Automobilbranche ist es, die Windschutzscheibe des eigenen Fahrzeuges mit virtuellen Elementen bespielen zu können, um dem Fahrer einige Vorteile zu ermöglichen. Genutzt wird die sogenannte„Augmented Reality“-Technologie (AR). Weniger geläufig ist der entsprechende deutschsprachige Begriff der„erweiterten Realität“. Dabei wird die reale Umgebung mit virtuellen Elementen angereichert. Das hat mehrere Vorteile: Der Blick nach unten, auf andere Displays als der Windschutzscheibe, entfällt, da viele relevante Informationen auf der Windschutzscheibe abgebildet werden. So muss der Fahrer seinen Blick nicht von der Fahrbahn abwenden. Außerdem ist durch die positionsgenaue Verödung der virtuellen Elemente in der realen Umwelt ein geringerer kognitiver Aufwand seitens des Fahrers wahrscheinlich, da keine Interpretation einer Grafik auf einem gesonderten Display erfolgen muss. Hinsichtlich des automatischen Fahrens kann ebenfalls ein Mehrwert erzeugt werden.
Da die technologischen Mittel heutzutage entsprechend begrenzt sind, kann davon ausgegangen werden, dass mittelfristig keine voll bespielbaren Windschutzscheiben in Fahrzeugen anzutreffen sein werden. Zurzeit werden Head-Up Displays (HUD) in den Fahrzeugen eingesetzt. Diese haben auch den Vorteil, dass das Bild des HUD näher an der realen Umwelt erscheint. Bei diesen Displays handelt es sich eigentlich um
Projektionseinheiten, die ein Bild auf die Windschutzscheibe projizieren. Dieses Bild befindet sich jedoch aus der Sicht des Fahrers je nach Bauart des Moduls wenige Meter bis 15 Meter vor dem Fahrzeug. Dies hat den Vorteil, dass die eingeblendeten Informationen so präsentiert werden, dass die Augen des Fahrer selbst von Akkommodationstätigkeit entlastet werden.
Das„Bild“ setzt sich dabei folgendermaßen zusammen: Es handelt sich dabei weniger um ein virtuelles Display, sondern eher um eine Art„Schlüsselloch“ in die virtuelle Welt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Die begrenzte
Anzeigefläche des HUD hat zur Folge, dass davon ein Ausschnitt gesehen werden kann.
Man schaut also durch die Anzeigefläche des HUD auf den Ausschnitt der virtuellen Welt. Da diese virtuelle Umgebung die reale Umgebung ergänzt, spricht man in diesem Fall auch von einer„Mixed Reality“.
Aus der DE 10 2015 116 160 A1 ist eine Head-Up Displayeinheit für ein Fahrzeug zur Erzeugung eines virtuellen Bildes im Sichtfeld des Fahrers bekannt. Damit erfolgt eine situationsbasiert angepasste Informationsdarstellung.
Aus der DE 10 2013 016 241 A1 ist ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem aufgenommenen digitalen Bild einer
Umgebung, insbesondere einer Fahrzeugumgebung bekannt. Des Weiteren kann
vorgesehen sein, dass die Zusatzinformation, insbesondere ereignisgesteuert und gegebenenfalls wechselweise, als 2D-Darstellung und/oder als 3D-Darstellung ausgegeben wird. So können beispielsweise eine als Zusatzobjekt ausgegebene Zusatzinformation, z. B. ein virtuelles Verkehrsschild, in 3D-Darstellung und/oder eine als Zusatztext ausgegebene Zusatzinformation, insbesondere eine Beschriftung eines realen oder virtuellen Objektes im Ausgabebild, in 2D-Darstellung im Ausgabebild eingeblendet werden.
Aus der DE 10 2014 008 152 A1 ist ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung bekannt. Gegenüber herkömmlichen augmentierten
Darstellungsverfahren mit möglichst genauer kontaktanaloger Platzierung der virtuellen Objekte und somit möglichst naher Platzierung, zum Beispiel GPS-Position, der virtuellen Objekte am jeweils zugehörigen realen Objekt ermöglicht die Erfindung durch Ausgabe der virtuellen Zusatzinformation in einer zuvor ermittelten Anzeigeregion, dass die virtuelle Zusatzinformation optimal platziert wird, insbesondere unter Berücksichtigung einer
Vermeidung von Überlagerungen mit anderen realen oder virtuellen Objekten in dem Bild der Anzeige. Aus der DE 10 2014 119 317 A1 ist ein Verfahren zur Darstellung eines
Bildüberlagerungselements in einem Bild eines Umgebungsbereichs eines Kraftfahrzeuges bekannt. Das Bild wird auf einer Anzeigefläche des Kraftfahrzeuges angezeigt. Weiterhin wird in dem Bild zumindest ein Objekt aus dem Umgebungsbereich abgebildet. Weiterhin ist darin vorgesehen, dass das Bildüberlagerungselement mit dem Objekt bewegungsgekoppelt wird und bei Bewegung des Objektes mit diesem mitgeführt an der gleichen Stelle am Objekt dargestellt wird, wobei abhängig von einer Richtungsänderung und/oder Größenänderung die Richtung und/oder die Größe des Bildüberlagerungselements an die entsprechende Änderung des Objektes angepasst wird. So kann es vorgesehen sein, dass das
Bildüberlagerungselement an die Oberfläche der Fahrbahn angepasst wird. Ist die Fahrbahn nun beispielsweise ansteigend, weil es bergauf geht, so kann dies anhand der
dreidimensionalen Information über das Objekt erkannt werden, und die Darstellung des Bildüberlagerungselements kann bezüglich der Orientierung und Ausgestaltung
dementsprechend angepasst werden.
Aus der DE 10 2015 117 381 A1 ist eine Head-Up-Anzeige (HUD) bekannt, auf der kontextbasierte Informationen für den Fahrer geboten werden. Solche können eine
Umgebungsbedingung und/oder eine die Physiologie des Benutzers betreffende Bedingung sein.
Ein großer Vorteil der bisher bekannten„Augmented Reality“-Anzeigen (AR-Anzeigen) besteht darin, die entsprechenden Anzeigen direkt innerhalb bzw. als Teil der Umwelt darzustellen. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen (in herkömmlichen HUD) in der Regel schematische Darstellungen anzeigen (z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll), bieten AR- Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als„Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen für den Nutzer möglich. Dennoch weisen die bisher bekannten Ansätze auch verschiedene
Probleme auf, für die zum jetzigen Zeitpunkt keine Lösungen bekannt sind.
Die bekannten Lösungen sind mit verschiedenen Nachteilen behaftet. Dies wurde im
Rahmen der Erfindung erkannt. Bei den bekannten Lösungen besteht das Problem, dass die kognitive Interpretation und das Verständnis von AR-Einblendungen im HUD einige
Millisekunden der Aufmerksamkeit des Fahrers in Anspruch nimmt. Die Verarbeitung dieser Informationen kann sich situativ verändern und zu Fehlinterpretationen oder Missverständnissen führen. Dadurch können gefährliche Situationen entstehen. Z.B. wird dem Fahrer über eine herkömmliche Einblendung der Navigationsroute zwar der zu fahrende Weg angezeigt, es wird ihm dadurch aber nicht klar genug vermittelt, dass sich ein
Gefahrenpotential bei einem entgegenkommenden Fahrzeug an einer Engstelle aufbaut. Auch wird die Lage der Engstelle im Sichtfeld des Fahrers nicht genau genug
hervorgehoben.
Es besteht also der Bedarf für weitere Verbesserungen bei der Längs- und Querführung eines Fahrzeuges und der diesbezüglichen Rückmeldung zum Fahrer über das Infotainment- System.
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden.
Diese Aufgabe wird durch ein Verfahren zur Berechnung einer Einblendung von
Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, insbesondere ein Head-Up Display (HUD) eines Fahrzeuges oder eine Datenbrille gemäß Anspruch 1 , eine Vorrichtung zur Durchführung des Verfahrens gemäß Anspruch 8 sowie ein Kraftfahrzeug gemäß Anspruch 11 und ein Computerprogramm gemäß Anspruch 12 gelöst. Dabei dient die Einblendung von Zusatzinformationen dem Zweck der Unterstützung des Fahrers bei der Längs- und Querführung des Fahrzeuges.
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
Die Lösung besteht darin, die Elemente von AR-Einblendungen wie Linien, Flächen und andere geometrische Elemente durch„physikalische“ Verhaltensweisen zu animieren.
Dadurch kann eine Dringlichkeit einer Interaktion besser kommuniziert werden
Durch ein physisches Verhalten der Elemente von AR-Einblendungen im HUD wird eine intuitive Interpretation der aktuellen Situation unterstützt. Bekannte Verhaltensmuster, die der Mensch im Laufe des Lebens erlernt hat oder sogar angeboren sind, werden ausgenutzt, um AR-Einblendungen im HUD besser und schneller zu deuten. Dabei werden Dynamik, Frequenz und Rotation so genutzt, dass zwei- und dreidimensionale Elemente im digitalen Raum umherwandern. Linien, Flächen und geometrische Elemente reflektieren dabei physikalische Verhaltensweisen und Eigenschaften, die aus der realen Welt bekannt sind.
Die intuitive Wahrnehmung des Menschen wird genutzt, um eine schelle Verarbeitung der eingeblendeten Informationen im HUD zu fördern. In einer Variante besteht die Erfindung in einem Verfahren zur Berechnung einer AR- Einblendung, entsprechend„augmented reality“-Einblendung, von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, insbesondere ein Head-Up Display (HUD) eines Beobachterfahrzeuges oder eine Datenbrille, wobei die Einblendung von
Zusatzinformationen dem Zweck der Unterstützung des Fahrers bei der Längs- und/oder Querführung eines Beobachterfahrzeuges dient. Dabei wird die AR-Einblendung nach Art der erweiterten Realität entsprechend„augmented reality“ kontaktanalog zu einem oder mehreren Objekten in der Umwelt des Beobachterfahrzeuges berechnet. Die Lage eines entgegenkommenden oder vorausfahrenden Fahrzeuges oder Objektes wird erfasst. Bei Annäherung an das entgegenkommende oder vorausfahrende Fahrzeug wird eine räumlich ausgedehnte Animationsgrafik berechnet, wobei die Animationsgrafik eine Rasterform bestehend aus einer Vielzahl von Rasterelementen aufweist, die sich von dem
Beobachterfahrzeug bis zu dem entgegenkommenden oder vorausfahrenden Fahrzeug erstreckt. Eine Besonderheit besteht darin, dass die räumliche Ausdehnung so berechnet wird, dass für den Fahrer des Beobachterfahrzeuges der Eindruck einer kinematischen oder dynamischen Bewegung der räumlichen Ausdehnung, wie Translation und Rotation, entsteht.
In einer besonders vorteilhaften Ausführungsart wird die räumliche Ausdehnung so berechnet, dass für den Fahrer des Beobachterfahrzeuges der Eindruck einer sich auf ihn zu bewegenden oder von ihm weg bewegenden Welle entsteht. Die Animation mit einer Wellenform kann so gestaltet sein, dass die Welle auf der X, Y oder Z-Achse wandern kann.
In einer weiteren Ausführungsart wird die Animationsgrafik so berechnet, dass die räumliche Ausdehnung der Animationsgrafik periodisch wiederholt wird, so dass für den Fahrer des Beobachterfahrzeuges der Eindruck entsteht, dass sich eine Anzahl von Wellenzügen auf ihn zu oder von ihm weg bewegen.
In einer weiteren Variante werden zur Unterstützung der Seitenführung des Fahrzeuges eine oder zwei räumlich ausgedehnte Animationsgrafiken berechnet, die seitlich der Fahrtroute eingeblendet werden, wobei die weitere Animationsgrafik eine Rasterform bestehend aus einer Vielzahl von Rasterelementen aufweist, und die räumliche Ausdehnung so berechnet wird, dass zu der Seite, wo ein Hindernis oder ein entgegenkommendes Fahrzeug erkannt wurde, sich das Raster räumlich aufstellt, um eine Verengung der Fahrtroute zu betonen. Das Ziel des Auftürmens von Elementen ist es, Warnungen besser zu kommunizieren. Das Auftürmen/die Extrusion von Elementen kann dabei in jeder Achse zu beliebigen Anteilen erfolgen.
Andere Varianten wären, dass sich einzelne Elemente um ein Objekt herum bewegen und von diesem physikalisch angezogen/abgestoßen werden. Dadurch werden Abstände ersichtlicher und können hervorgehoben werden. Aus Ebenen werden punktuell oder flächig Elemente extrudiert, um Dringlichkeiten zu zeigen oder um bestimmte Bereiche im HUD/der realen Welt mit einer Priorisierung zu belegen. Sehr viele Funktionen können durch das physikalische Verhalten der AR-Einblendungen dem Fahrer vermittelt werden.
Für das Verfahren ist es weiterhin vorteilhaft, wenn eine Abschätzung der Breite der Engstelle vorgenommen wird und bei Unterschreitung einer Mindestbreite eine
Animationsgrafik so berechnet wird, dass sich die wenigstens eine rasterförmige
Animationsgrafik zur Seitenführung des Fahrzeuges in ein Hinweissymbol umwandelt, durch das die Notwendigkeit für ein Ausweichmanöver angedeutet wird. Wenn Elemente an bestimmten Orten/Koordinaten in der realen Welt gebündelt werden und dadurch eine Verdichtung entsteht, kann der Aufmerksamkeitsfokus des Fahrers dorthin gelenkt werden.
Hier ist eine besonders intuitive Form der Umwandlung möglich, wobei die Umwandlung der Animationsgrafik so berechnet wird, dass die Rasterelemente der Animationsgrafik zur Unterstützung der Seitenführung sich während der Umwandlungsphase schwarmartig bewegen, woraus am Ende der Umwandlungsphase das Hinweissymbol entsteht. Durch das Schwarmverhalten von den Linien, Flächen und geometrischen Elementen, die sich an den jeweiligen Koordinaten in der realen Welt bündeln, entsteht eine Überlagerung und eine automatische Erhöhung der visuellen Intensität.
Dafür ist es weiterhin vorteilhaft, wenn die weitere Animationsgrafik zur Unterstützung der Seitenführung des Fahrzeuges so berechnet wird, dass sie den Weg des
entgegenkommenden Fahrzeuges oder Objektes markiert. Dieses„Bündeln“ von Elementen kann z.B. für Funktionen der Bereichs- und Objektmarkierung, aber auch für das Andeuten eines Navigationspfads oder einer Aufmerksamkeitssteuerung genutzt werden.
Für eine Vorrichtung zur Durchführung des Verfahrens gelten mit der entsprechend programmierten Recheneinheit die gleichen Vorteile wie bei den entsprechenden
Verfahrensschritte erwähnt. Besonders vorteilhaft ist, wenn die Anzeigeeinheit der Vorrichtung als Head-Up Display ausgeführt ist. Statt eines Head-Up Displays kann in der Vorrichtung als Anzeigeeinheit eine Datenbrille oder ein Monitor eingesetzt werden, auf dem ein Kamerabild angezeigt wird, in das das Raster eingeblendet wird.
In vorteilhafter Weise kann die erfindungsgemäße Vorrichtung in einem Kraftfahrzeug eingesetzt werden. Im Fahrzeug wird die Erfindung vorzugsweise so realisiert, dass die Anzeigeeinheit im Fahrzeug fest installiert ist, z.B. in Form eines Head-Up Displays.
Trotzdem wäre eine mögliche Realisierungsform auch mit Hilfe einer Datenbrille möglich, wenn der Einsatz der Datenbrille beim Fahrer in Zukunft erlaubt wäre.
Wie erwähnt kann die Erfindung in vorteilhafter Weise auch eingesetzt werden, wenn die Anzeigeeinheit einer Datenbrille entspricht. Dann lässt sich das erfindungsgemäße
Verfahren selbst bei Fußgängern, Radfahrern, Kradfahrern usw. einsetzen.
Für ein Computerprogramm, das in der Recheneinheit der Vorrichtung zur Abarbeitung kommt, um das erfindungsgemäße Verfahren durchzuführen, gelten die entsprechenden Vorteile wie zu dem erfindungsgemäßen Verfahren beschrieben.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert.
Es zeigen:
Fig. 1 das Prinzip der Einblendung von Informationen in das Sichtfeld des Fahrers eines Fahrzeuges während der Fahrt mit Hilfe eines Head-Up Displays;
Fig. 2 das typische Cockpit eines Fahrzeuges;
Fig. 3 das Blockschaltbild des Infotainment-Systems des Fahrzeuges;
Fig. 4 eine Darstellung einer wellenförmig aufgewölbten Rastereinblendung zur
Signalisierung der Dringlichkeit einer Gefahr aufgrund eines entgegenkommenden Fahrzeuges;
Fig. 5 eine Darstellung einer Rastereinblendung für die Hervorhebung einer Verengung des Fahrweges;
Fig. 6 eine Darstellung einer schwarmartigen Umwandlung einer rasterförmigen AR- Einblendung zu einer Handlungsanweisung an den Fahrer bei dem Beispiel der Fahrbahnverengung;
Fig. 7 eine Darstellung von drei grundlegenden Ebenen von AR-Einblendungen für die Fahrerinformation und; Fig. 8 ein Flussdiagramm für ein Programm zur Berechnung der AR-Einblendungen für die drei grundlegenden Ebenen.
Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
Fig. 1 veranschaulicht die prinzipielle Funktionsweise eines Head-Up Displays. Das Head-Up Display 20 ist im Fahrzeug 10 unterhalb/hinter dem Kombiinstrument im
Armaturenbrettbereich angebracht. Durch Projektion auf die Windschutzscheibe werden Zusatzinformationen in das Sichtfeld des Fahrers eingeblendet. Diese Zusatzinformationen erscheinen so, als seien sie auf eine Projektionsfläche 21 im Abstand von 7 - 15 m vor dem Fahrzeug 10 projiziert. Durch diese Projektionsfläche 21 hindurch bleibt aber die reale Welt sichtbar. Mit den eingeblendeten Zusatzinformationen wird quasi eine virtuelle Umgebung erzeugt. Die virtuelle Umgebung wird theoretisch über die reale Welt gelegt und enthält die virtuellen Objekte, die den Fahrer bei der Fahrt unterstützen und informieren. Es wird aber nur auf einen Teil der Windschutzscheibe projiziert, so dass die Zusatzinformationen nicht beliebig im Sichtfeld des Fahrers angeordnet werden können.
Fig. 2 zeigt das Cockpit des Fahrzeuges 10. Dargestellt ist ein Personenkraftwagen Pkw. Als Fahrzeug 10 kämen allerdings beliebige andere Fahrzeuge ebenfalls in Betracht. Beispiele von weiteren Fahrzeugen sind: Busse, Nutzfahrzeuge, insbesondere Lastkraftwagen Lkw, Landmaschinen, Baumaschinen, Schienenfahrzeuge usw. Der Einsatz der Erfindung wäre allgemein bei Landfahrzeugen, Schienenfahrzeugen, Wasserfahrzeugen und Luftfahrzeugen möglich.
In dem Cockpit sind drei Anzeigeeinheiten eines Infotainment-Systems dargestellt. Es handelt sich um das Head-Up-Display 20 und einen berührungsempfindlichen Bildschirm 30, der in der Mittelkonsole angebracht ist. Bei der Fahrt liegt die Mittelkonsole nicht im Sichtfeld des Fahrers. Deshalb werden die Zusatzinformationen während der Fahrt nicht auf der Anzeigeeinheit 30 eingeblendet.
Der berührungsempfindliche Bildschirm 30 dient dabei insbesondere zur Bedienung von Funktionen des Fahrzeuges 10. Beispielsweise können darüber ein Radio, ein
Navigationssystem, eine Wiedergabe von gespeicherten Musikstücken und/oder eine Klimaanlage, andere elektronische Einrichtungen oder andere Komfortfunktionen oder Applikationen des Fahrzeuges 10 gesteuert werden. Zusammengefasst wird häufig von einem„Infotainment-System“ gesprochen. Ein Infotainment-System bezeichnet bei
Kraftfahrzeugen, speziell Pkw, die Zusammenführung von Autoradio, Navigationssystem, Freisprecheinrichtung, Fahrerassistenzsystemen und weiterer Funktionen in einer zentralen Bedieneinheit. Der Begriff Infotainment ist ein Kofferwort, zusammengesetzt aus den Worten Information und Entertainment (Unterhaltung). Zur Bedienung des Infotainment-Systems wird hauptsächlich der berührungsempfindliche Bildschirm 30 („Touchscreen“) benutzt, wobei dieser Bildschirm 30 insbesondere von einem Fahrer des Fahrzeuges 10, aber auch von einem Beifahrer des Fahrzeuges 10 gut eingesehen und bedient werden kann. Unterhalb des Bildschirms 30 können zudem mechanische Bedienelemente, beispielsweise Tasten, Drehregler oder Kombinationen hiervon, wie beispielsweise Drückdrehregler, in einer Eingabeeinheit 50 angeordnet sein. Typischerweise ist auch eine Lenkradbedienung von Teilen des Infotainmentsystems möglich. Diese Einheit ist nicht separat dargestellt, sondern wird als Teil der Eingabeeinheit 50 betrachtet.
Fig. 3 zeigt schematisch ein Blockschaltbild des Infotainment-Systems 200 sowie beispielhaft einige Teilsysteme oder Applikationen des Infotainment-Systems. Die Bedienungs- Vorrichtung umfasst die berührungsempfindliche Anzeigeeinheit 30, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und einen Speicher 60. Die Anzeigeeinheit 30 umfasst sowohl eine Anzeigefläche zum Anzeigen veränderlicher grafischer Informationen als auch eine über der Anzeigefläche angeordnete Bedienoberfläche (berührungssensitive Schicht) zum
Eingeben von Befehlen durch einen Benutzer.
Die Anzeigeeinheit 30 ist über eine Datenleitung 70 mit der Recheneinrichtung 40
verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 30 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 30 von der
Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der
eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Ihr zugehörig sind die schon erwähnten Bedienelemente wie Tasten, Drehregler, Schieberegler, oder Drehdrückregler, mit deren Hilfe die Bedienperson über die Menüführung Eingaben machen kann. Unter Eingabe wird allgemein das Anwählen einer ausgewählten Menüoption verstanden, wie auch das Ändern eines Parameters, das Ein- und Ausschalten einer Funktion usw.
Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden. In dem Speicher 60 ist ein Piktogrammverzeichnis und/oder Symbolverzeichnis hinterlegt mit den Piktogrammen und/oder Symbolen für die möglichen Einblendungen von Zusatzinformationen. Hier können auch die Punkte/Symbole abgelegt sein, die für die Berechnung der Raster-Einblendung als Grundlage dienen.
Die weiteren Teile des Infotainment-Systems Kamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainment-Systems verbunden. Als Datenbus 100 kommt die Highspeed- Variante des CAN-Bus nach ISO Standard 11898-2 in Betracht. Alternativ käme z.B. auch der Einsatz eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Auch Bussysteme, bei denen die Datenübertragung über Lichtwellenleiter geschieht, sind einsetzbar. Als Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). Hier wird noch erwähnt, dass die Kamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbilder/s entspricht.
Alternativ kann eine Spezialkamera eingesetzt werden, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen. Es können mehrere Kameras zur Umfeldbeobachtung eingesetzt werden. Daneben könnten auch die schon erwähnten RADAR- oder LIDAR-Systeme ergänzend oder alternativ eingesetzt werden, um die Umfeldbeobachtung durchzuführen oder zu erweitern. Für die drahtlose Kommunikation nach innen und außen ist das Fahrzeug 10 mit einem
Kommunikationsmodul 160 ausgestattet. Dieses Modul wird oft auch als On-Board Unit bezeichnet. Es kann für die Mobilfunk-Kommunikation, z.B. nach LTE Standard,
entsprechend Long Term Evolution, ausgelegt sein. Ebenfalls kann es für WLAN- Kommunikation, entsprechend Wireless LAN, ausgelegt sein, sei es für die Kommunikation zu Geräten der Insassen im Fahrzeug oder für die Fahrzeug-zu-Fahrzeug Kommunikation etc.
Das erfindungsgemäße Verfahren zur Berechnung einer Einblendung von
Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit 20 wird im Folgenden anhand eines Ausführungsbeispiels erläutert.
Für die weiteren Figuren gilt, dass gleiche Bezugszahlen die gleichen Felder und Symbole bezeichnen wie bei der Beschreibung der Figuren 1 bis 3 erläutert.
Bei der nachfolgenden Beschreibung der Erfindung wird davon ausgegangen, dass der Fahrer das Fahrzeug 10 führt, aber durch ein Fahrerassistenzsystem unterstützt wird. Es wird ein Fahrerassistenzsystem zur Längsführung des Fahrzeuges 10 eingesetzt. Beispiele solcher Assistenzsysteme sind eine automatische Distanzregelung ACC, entsprechend Adaptive Cruise Control, und ein Geschwindigkeitsregelungssystem GRA, entsprechend Geschwindigkeitsregelanlage. Die Erfindung wäre aber auch in gleicher weise einsetzbar, wenn das Fahrzeug 10 vollautomatisch gesteuert werden würde. Im Folgenden wird beschrieben, welche Schritte unternommen werden, wenn sich das Fahrzeug 10 mit aktiviertem Längsführungssystem, hier ein ACC-System, dem vorausfahrenden Fahrzeug 300 nähert, dieses detektiert und seine Geschwindigkeit an das vorausfahrende Fahrzeug 300 anpasst. Dies geschieht so, dass ein zuvor eingegebener Sicherheitsabstand eingehalten wird.
Für die Information des Fahrers eines Fahrzeuges zur Unterstützung bei der Längs- und Querführung des Fahrzeuges hat sich der Einsatz einer rasterförmigen AR-Einblendung bewährt. Dabei wird für den vom Navigationssystem vorausberechneten Fahrweg eine rasterförmige AR-Einblendung berechnet. Durch diese wird dem Fahrer der Fahrweg angezeigt, ohne wichtige Informationen der realen Szenerie zu verdecken. Die grundlegende Idee und Technik der rasterförmigen AR-Einblendung ist in der parallelen Patentanmeldung des Anmelders DE 10 2017 212 367 gezeigt. Es wird auch im Hinblick auf die Offenbarung der hier beschriebenen Erfindung ausdrücklich auf die parallele Anmeldung Bezug genommen.
Grundlage der erfindungsgemäßen Anzeige der Längs- und/oder Querführungsfunktion des Fahrzeuges 10 auf dem HUD 20 ist die Anzeige eines virtuellen Rasters 24 entlang des Fahrweges, das in einem Abstand über der tatsächlichen Straße oder ohne Abstand zur Straße dargestellt wird. Dabei liegt die Straße als realer Fahrbahnverlauf im Sichtfeld des Fahrers. Das Besondere bei dem neuem Vorschlag besteht darin, dass nicht nur der Fahrweg mit dem Raster 24 markiert wird, sondern auch ein Ereignis, das mit dem Fahrweg verbunden ist. Das Ereignis besteht in dem gezeigten Beispiel von Fig. 4 darin, dass ein Fahrzeug 300 auf dem Fahrweg entgegenkommt, durch das nach Abschätzung der
Fahrwegbreite und der relativen Annäherungsgeschwindigkeit zwischen dem
entgegenkommenden Fahrzeug 300 und dem Beobachterfahrzeug 10 ein Gefahrenpotential begründet wird. Das Gefahrenpotential, das zur AR-Einblendung des Ereignisses führt, besteht im gezeigten Fall in der durch die relative Bewegung beider sich aufeinander zu bewegenden Fahrzeuge 10, 300 unter Berücksichtigung möglicher Objekte oder
Hindernisse, die am Straßenrand stehen, entstehenden Verengung des Fahrweges. Wenn es abgeschätzt wird, dass hier eine Grenze unterschritten wird, wird auf das
Gefahrenpotential aufmerksam gemacht. Dies geschieht, wie in Fig. 4 gezeigt, durch die Berechnung einer räumlich ausgedehnten AR-Einblendung. Auf die Dringlichkeit des Gefahrenpotentials wird dadurch hingewiesen, dass die räumliche Ausdehnung ausgehend von dem entgegenkommenden Fahrzeug 300 sich auf das Beobachterfahrzeug 10 zu bewegt. Dadurch entsteht für den Fahrer des Beobachterfahrzeuges 10 der Eindruck einer auf ihn zulaufenden Welle. Es können ein Wellenberg oder mehrere Wellenberge dargestellt werden, die sich auf das Beobachterfahrzeug 10 zubewegen. Bevorzugt wird die AR- Einblendung perspektivisch berechnet. Dadurch türmt sich ein Wellenberg immer stärker vor dem Beobachterfahrzeug 10 auf, wodurch auf die Dringlichkeit der drohenden Gefahr immer stärker hingewiesen wird.
Die Fig. 5 zeigt ein Beispiel einer AR-Einblendung, durch die auf die bevorstehende
Verengung des Fahrweges hingewiesen wird. Es ist dargestellt, dass entlang des
Fahrbahnverlaufs ein linkes Raster 26a und ein rechtes Raster 28a eingeblendet wird. Diese erstrecken sich vom Beobachterfahrzeug 10 bis zum entgegenkommenden bzw.
vorausfahrenden Fahrzeug 300. Auf die bevorstehende Verengung wird dadurch
hingewiesen, dass die Raster 26a und 28a sich seitlich nach außen räumlich aufstellen. Die räumliche Aufstellung erfolgt vorzugsweise so, dass sie vor der Engstelle zunimmt und nach der Engstelle abklingt.
Fig. 6 zeigt den Fall, dass die bevorstehende Verengung des Fahrweges von dem
Längsführungssystem so eingeschätzt wird, dass die Gefahr einer Kollision oder Berührung mit dem entgegenkommenden Fahrzeug 300 als zu groß ein geschätzt wird. In dem Fall wird eine AR-Einblendung berechnet, die dem Fahrer eine Handlungsanweisung gibt, was zu tun ist, damit eine Kollision oder Berührung vermieden wird. Die Handlungsanweisung wird als Ausweichpfeil 28b gestaltet. Damit der Fahrer die Handlungsanweisung unmittelbar und intuitiv versteht, wird sie nicht einfach nur an der Position der Ausweichstelle eingeblendet sondern auch von dem Ablauf ihrer Entstehung her besonders gestaltet. Dies geschieht so, dass das Symbol des Ausweichpfeils 28b aus den Punkten des rechten Raster 28a entsteht. Die Punkte des rechten Rasters 28a werden dabei so animiert, dass sie sich schwarmartig bewegen und schließlich so ansammeln, dass durch sie der Ausweichpfeil 28b entsteht.
In Fig. 6 ist auch noch dargestellt, dass sich die Punkte des linken Rasters 26a zur
Seitenführung so verlagern, dass sie den mutmaßlichen Fahrweg des entgegenkommenden Fahrzeuges 300 markieren.
Fig. 7 zeigt eine Variante, wie die verschiedenen AR-Einblendungen kombiniert dargestellt werden können. Es ist dargestellt, dass das Raster 24 mit der Darstellung des
Gefahrenpotentials eines Ereignisses zusammen mit den Rastern 26a und 28a zur Seitenführung eingeblendet werden. Dies kann zur besseren Unterscheidung in verschiedenen Farben geschehen. Im gezeigten Beispiel ist das Raster 24 in Rot dargestellt und die Raster 26a und 28a in Gelb. Wenn sich die Seitenführungs-Raster 26a oder 28a in ein Hinweissymbol umwandeln, kann statt des Seitenführungs-Rasters 28a das
entsprechend Hinweissymbol kombiniert mit dem Raster 24 eingeblendet werden.
Anhand von Fig. 8 wird noch ein Computerprogramm für die Berechnung der AR- Einblendungen erläutert. Das Programm wird in der Recheneinheit 40 abgearbeitet. Der Programmstart ist mit der Bezugszahl 405 bezeichnet. Im Programmschritt 410 erfolgt die Erfassung eines entgegenkommenden Fahrzeuges 300. Dazu werden die von der Kamera 150 gelieferten Bilder mit den zu diesem Zweck vorgesehenen
Objekterkennungsalgorithmen ausgewertet. Die Entfernung zum entgegenkommenden Fahrzeug 300 wird eingeschätzt und auch die Relativgeschwindigkeit zwischen dem
Beobachterfahrzeug 10 und dem entgegenkommenden Fahrzeug 300. Die
Momentangeschwindigkeit des entgegenkommenden Fahrzeuges kann durch fortwährende Bildauswertung der von der Kamera 150 gelieferten Bilder abgeschätzt werden. In einer anderen Ausgestaltung kann die Momentangeschwindigkeit über Car-2-Car Kommunikation von dem entgegenkommenden Fahrzeug 300 zu dem Beobachterfahrzeug 10 übertragen werden. Nachdem das entgegenkommende Fahrzeug 300 erkannt worden ist und die Entfernung und Relativgeschwindigkeit abgeschätzt worden sind, erfolgt im Programmschritt 415 die Berechnung des Rasters 24 mit der entsprechenden räumlichen Ausdehnung.
Vorzugsweise wird das Raster 24 perspektivisch berechnet. Die Berechnung erfolgt weiterhin so, dass sich das Raster bis zum entgegenkommenden Fahrzeug 300 ausdehnt.
Im Programmschritt 420 werden die berechneten Daten für das Raster 24 an das Head-Up- Display 20 übertragen. Dieses führt die Einblendung des Rasters 24 durch, wie in Fig. 4 zu sehen. Im Programmschritt 425 erfolgt eine Erfassung von Objekten oder Hindernissen am Fahrbahnrand. Wie in den Figuren 4, 5 und 6 gezeigt, befinden sich parkende Fahrzeuge am rechten Fahrbahnrand in Parkbuchten. Im Programmschritt 430 erfolgt eine dynamische Berechnung von Engstellen. Dies geschieht wie folgt: Das parkende Fahrzeug 310 befindet sich noch in einem Abstand von dem Beobachterfahrzeug 10. Das entgegenkommende Fahrzeug 300 bewegt sich so, dass es in etwa auf Höhe des parkenden Fahrzeuges 310 ankommt, wenn auch das Beobachterfahrzeug 10 das parkende Fahrzeug 310 passiert. Es entsteht also erst in der Zukunft eine Engstelle durch das Zusammentreffen von
entgegenkommenden Fahrzeug 300 und Beobachterfahrzeug 10 an der Stelle des parkenden Fahrzeuges 310. In diesem Sinne ist die dynamische Berechnung von Engstellen zu verstehen. Im Programmschritt 435 erfolgt die Berechnung der Raster 26a und 28a zur Markierung einer Engstelle. Die seitliche Aufstellung der Raster erfolgt so, dass sie bis zur vorausberechneten Engstelle ansteigt und nach der vorausberechneten Engstelle abklingt. Auch diese Raster 26a und 28a werden wieder perspektivisch berechnet. Im
Programmschritt 440 werden die berechneten Daten für die Raster 26a und 28a an das Head-Up-Display 20 übertragen.
Im Programmschritt 445 erfolgt eine Berechnung des Gefahrenpotentials der erkannten Engstelle. Unterschreitet in der nachfolgenden Abfrage 450 die vorausberechnete Engstelle eine bestimmte Breite, z.B. die Fahrzeugbreite des Beobachterfahrzeuges 10, so findet im Programmschritt 455 eine Berechnung der Animation für die Umwandlung des
Seitenführungsrasters 28a zu einem Ausweichsymbol 28b statt. Wie beschrieben besteht die Animation darin, dass die Punkte des Raster 28a sich schwarmartig bewegen und am Ende durch ihre Anordnung das Ausweichsymbol formen. Wenn kein Gefahrenpotential erkannt wird, verzweigt das Programm zurück zum Programmschritt 410. Im Schritt 460 erfolgt die Übermittlung der für die AR-Einblendung Animation berechneten Daten an das HUD 20.
Über die Schritte 410 bis 460 wird im Programm eine Schleife gebildet, die so oft durchlaufen wird, bis ein Zustandswechsel stattfindet. Der Zustandswechsel ist dann gegeben, wenn der Fahrer eingreift und die Komfortfunktion verlässt oder das Fahrzeug abstellt. Dann endet das Programm im Programmschritt 465.
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von
Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im
Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein.
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware,
Spezialprozessoren oder einer Kombination davon implementiert werden können.
Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und/oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere
Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere
Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird.
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
Die Erfindung wird in den Ausführungsbeispielen am Beispiel des Einsatzes in Fahrzeugen genauer erläutert. Hier wird auch auf die Einsatzmöglichkeit bei Flugzeugen und Helikoptern zum Beispiel bei Landemanövern oder Sucheinsätzen etc. hingewiesen.
Es wird aber darauf hingewiesen, dass der Einsatz nicht darauf beschränkt ist. Die Erfindung kann immer dann eingesetzt werden, wenn mit AR-Einblendungen das Sichtfeld eines Fahrers, einer Bedienperson oder auch einfach nur einer Person mit Datenbrille angereichert werden kann.
Auch bei ferngesteuerten Geräten wie Robotern, bei denen die Fernsteuerung über einen Monitor erfolgt, auf dem ein Kamerabild wiedergegeben wird, können AR Einblendungen die Bedienung erleichtern. Also besteht hier auch eine Einsatzmöglichkeit.
Bezugszeichenliste Fahrzeug
Head-Up Display HUD
virtuelle Projektionsfläche
Raster
a linkes Seitenführungsraster
b linkes Seitenführungsraster (umgewandelt)a rechtes Seitenführungsraster
b Ausweichpfeil
berührungsempfindliche Anzeigeeinheit
Recheneinheit
Eingabeeinheit
Speichereinheit
Datenleitung zur Anzeigeeinheit
Datenleitung zur Speichereinheit
Datenleitung zur Eingabeeinheit
0 Datenbus
0 Kombiinstrument
0 Telefon
0 Navigationsgerät
0 Radio
0 Kamera
0 Kommunikationsmodul
0 Infotainment-System
0 entgegenkommendes Fahrzeug
0 parkendes Fahrzeug
5 - verschiedene
5 Programmschritte

Claims

Patentansprüche
1. Verfahren zur Berechnung einer AR-Einblendung, entsprechend„augmented reality“- Einblendung, von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit (20), insbesondere ein Head-Up Display (HUD) eines Beobachterfahrzeuges (10) oder eine Datenbrille, wobei die Einblendung von Zusatzinformationen dem Zweck der
Unterstützung des Fahrers bei der Längs- und/oder Querführung eines
Beobachterfahrzeuges (10) dient, wobei die Einblendung nach Art der erweiterten Realität entsprechend„augmented reality“ kontaktanalog zu einem oder mehreren Objekten in der Umwelt des Beobachterfahrzeuges (10) berechnet wird, wobei die Lage eines entgegenkommenden oder vorausfahrenden Fahrzeuges oder Objektes (300) erfasst wird, dadurch gekennzeichnet, dass bei Annäherung an das
entgegenkommende oder vorausfahrende Fahrzeug (300) eine räumlich ausgedehnte Animationsgrafik berechnet wird, wobei die Animationsgrafik eine Rasterform bestehend aus einer Vielzahl von Rasterelementen (305) aufweist, die sich von dem Beobachterfahrzeug (10) bis zu dem entgegenkommenden oder vorausfahrenden Fahrzeug (300) erstreckt, und die räumliche Ausdehnung so berechnet wird, dass für den Fahrer des Beobachterfahrzeuges (10) der Eindruck einer kinematischen oder dynamischen Bewegung der räumlichen Ausdehnung, wie Translation und Rotation, entsteht.
2. Verfahren nach Anspruch 1 , wobei die Animationsgrafik so berechnet wird, dass für den Fahrer des Beobachterfahrzeuges (10) der Eindruck einer sich auf ihn zu bewegenden oder von ihm weg bewegenden Welle entsteht.
3. Verfahren nach Anspruch 2, wobei die Animationsgrafik so berechnet wird, dass die räumliche Ausdehnung der Animationsgrafik periodisch wiederholt wird, so dass für den Fahrer des Beobachterfahrzeuges (10) der Eindruck entsteht, dass sich eine Anzahl von Wellenzügen auf ihn zu oder von ihm weg bewegen.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei zur Unterstützung der Seitenführung des Fahrzeuges eine oder zwei räumlich ausgedehnte
Animationsgrafiken berechnet werden, die seitlich der Fahrtroute eingeblendet werden, wobei die weitere Animationsgrafik eine Rasterform bestehend aus einer Vielzahl von Rasterelementen (305) aufweist, und die räumliche Ausdehnung so berechnet wird, dass zu der Seite, wo ein Hindernis oder ein entgegenkommendes Fahrzeug erkannt wurde, sich das Raster räumlich aufstellt, um eine Verengung der Fahrtroute zu betonen.
5. Verfahren nach Anspruch 4, wobei eine Abschätzung der Breite der Engstelle
vorgenommen wird und bei Unterschreitung einer Mindestbreite eine Animationsgrafik so berechnet wird, dass sich die wenigstens eine rasterförmige Animationsgrafik zur Seitenführung des Fahrzeuges in ein Hinweissymbol (28b) umwandelt, durch das die Notwendigkeit für ein Ausweichmanöver angedeutet wird.
6. Verfahren nach Anspruch 5, wobei die Umwandlung der Animationsgrafik so berechnet wird, dass die Rasterelemente der Animationsgrafik zur Unterstützung der
Seitenführung sich während der Umwandlungsphase schwarmartig bewegen, woraus am Ende der Umwandlungsphase das Hinweissymbol (28b) entsteht.
7. Verfahren nach Anspruch 6, wobei die weitere Animationsgrafik zur Unterstützung der Seitenführung des Fahrzeuges so berechnet wird, dass sie den Weg des
entgegenkommenden Fahrzeuges (300) oder Objektes markiert.
8. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden
Ansprüche, aufweisend eine Anzeigeeinheit (20), mit der virtuelle Zusatzinformationen in das Sichtfeld des Fahrers oder der Bedienperson des Objektes eingeblendet werden können, und eine Recheneinheit (40), dadurch gekennzeichnet, dass das Fahrzeug (10) Erfassungsmittel (1 10, 150) aufweist, die ein entgegenkommendes Fahrzeug (300) erfassen, wobei die Recheneinheit (40) ausgelegt ist, die Lage des
entgegenkommenden Fahrzeuges (300) zu berechnen und die Bewegung des
Beobachterfahrzeuges (10) relativ zu dem vorausfahrenden Fahrzeug (300) zu berechnen und bei Erkennung eines entgegenkommenden Fahrzeuges (300) eine räumlich ausgedehnte Animationsgrafik zu berechnen, wobei die Animationsgrafik eine Rasterform bestehend aus einer Vielzahl von Rasterelementen (305) aufweist, die sich von dem Beobachterfahrzeug (10) bis zu dem entgegenkommenden oder
vorausfahrenden Fahrzeug (300) erstreckt, und die räumliche Ausdehnung so berechnet wird, dass für den Fahrer des Beobachterfahrzeuges (10) der Eindruck einer kinematischen oder dynamischen Bewegung der räumlichen Ausdehnung, wie
Translation und Rotation, entsteht.
9. Vorrichtung nach Anspruch 8, wobei die Recheneinheit (40) weiterhin so ausgelegt ist, die Berechnungen nach einem der Ansprüche 2 bis 7 durchzuführen.
10. Vorrichtung nach Anspruch 8 oder 9, wobei die Anzeigeeinheit (20) ein Head-Up Display (HUD) oder eine Datenbrille ist.
1 1. Kraftfahrzeug, dadurch gekennzeichnet, dass das Kraftfahrzeug (10) eine Vorrichtung nach einem der Ansprüche 8 bis 10 aufweist.
12. Computerprogramm, dadurch gekennzeichnet, dass das Computerprogramm
ausgelegt ist, bei Abarbeitung in einer Recheneinheit (40) die Schritte des Verfahrens zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit (20) nach einem der Ansprüche 1 bis 7 durchzuführen.
PCT/EP2019/053461 2018-03-02 2019-02-12 Verfahren zur berechnung einer ar-einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm WO2019166222A1 (de)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201980016739.2A CN111937044B (zh) 2018-03-02 2019-02-12 计算对用于在显示单元上显示的附加信息的ar淡入的方法、用于执行该方法的设备以及机动车和计算机程序
US16/977,059 US11904688B2 (en) 2018-03-02 2019-02-12 Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
EP19705167.5A EP3759694A1 (de) 2018-03-02 2019-02-12 Verfahren zur berechnung einer ar-einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018203121.5A DE102018203121B4 (de) 2018-03-02 2018-03-02 Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102018203121.5 2018-03-02

Publications (1)

Publication Number Publication Date
WO2019166222A1 true WO2019166222A1 (de) 2019-09-06

Family

ID=65411880

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/053461 WO2019166222A1 (de) 2018-03-02 2019-02-12 Verfahren zur berechnung einer ar-einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm

Country Status (5)

Country Link
US (1) US11904688B2 (de)
EP (1) EP3759694A1 (de)
CN (1) CN111937044B (de)
DE (1) DE102018203121B4 (de)
WO (1) WO2019166222A1 (de)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019117689A1 (de) * 2019-07-01 2021-01-07 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Darstellung einer Verkehrssituation durch Ausblenden von Verkehrsteilnehmer-Symbolen
DE102019125958A1 (de) * 2019-09-26 2021-04-01 Audi Ag Verfahren zum Betrieb eines Kraftfahrzeugs im Umfeld einer Engstelle und Kraftfahrzeug
DE102020205207A1 (de) * 2020-04-24 2021-10-28 Volkswagen Aktiengesellschaft Benutzerschnittstelle eines Fahrzeugs
KR102408746B1 (ko) * 2020-07-31 2022-06-15 주식회사 에이치엘클레무브 충돌 위험 저감 장치 및 방법
US11577725B2 (en) * 2020-09-02 2023-02-14 Ford Global Technologies, Llc Vehicle speed and steering control
DE102021206771A1 (de) * 2021-06-29 2022-12-29 Volkswagen Aktiengesellschaft Verfahren zum Ausgeben eines Startbereichs für einen Parkvorgang eines Kraftfahrzeugs, elektronische Recheneinrichtung sowie Kraftfahrzeug
DE102021129582A1 (de) 2021-11-12 2023-05-17 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Anzeigen von Gefahrenhinweisen auf einer Datenbrille
DE102022133776A1 (de) 2022-12-16 2024-06-27 Bayerische Motoren Werke Aktiengesellschaft Vorrichtung, Fortbewegungsmittel und Verfahren zur Ausgabe eines Hinweises an einen Anwender eines Fortbewegungsmittels

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005062151A1 (de) * 2005-12-22 2007-07-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen
DE102012222053A1 (de) * 2011-12-06 2013-06-06 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrzeuggeisterbild an Anzeige für gesamte Windschutzscheibe
DE102013016251A1 (de) * 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102014008152A1 (de) 2014-05-30 2014-10-23 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
DE102013016242A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur Unterstützung mindestens eines Fahrassistenzsystems
DE102013016241A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE112013002354T5 (de) * 2012-05-07 2015-04-16 Honda Motor Co., Ltd. Verfahren zum Erzeugen virtueller Anzeigeflächen aus Videobildern einer straßenbasierten Landschaft
DE102014219575A1 (de) * 2013-09-30 2015-07-23 Honda Motor Co., Ltd. Verbesserte 3-Dimensionale (3-D) Navigation
DE102015117381A1 (de) 2014-10-15 2016-04-21 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Systeme und Verfahren zum Anpassen von Merkmalen in einer Head-Up-Anzeige
DE102014119317A1 (de) 2014-12-22 2016-06-23 Connaught Electronics Ltd. Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug
DE102015116160A1 (de) 2015-09-24 2017-03-30 Denso Corporation Head-Up Display mit situationsbasierter Anpassung der Darstellung von virtuellen Bildinhalten
DE102017212367A1 (de) 2017-07-19 2019-01-24 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977489B2 (en) * 2009-05-18 2015-03-10 GM Global Technology Operations LLC Turn by turn graphical navigation on full windshield head-up display
KR101072395B1 (ko) * 2011-07-21 2011-10-11 한국해양연구원 천정 이동형 투명 디스플레이를 이용한 선박용 증강현실 시스템 및 그 구현 방법
EP2608153A1 (de) * 2011-12-21 2013-06-26 Harman Becker Automotive Systems GmbH Verfahren und System zum Spielen eines Spiels mit erweiterter Realität in einem Motorfahrzeug
US9047703B2 (en) * 2013-03-13 2015-06-02 Honda Motor Co., Ltd. Augmented reality heads up display (HUD) for left turn safety cues
US20140362195A1 (en) * 2013-03-15 2014-12-11 Honda Motor, Co., Ltd. Enhanced 3-dimensional (3-d) navigation
US9393870B2 (en) * 2013-03-15 2016-07-19 Honda Motor Co., Ltd. Volumetric heads-up display with dynamic focal plane
DE102013016244A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
JP6273976B2 (ja) * 2014-03-31 2018-02-07 株式会社デンソー 車両用表示制御装置
US9990774B2 (en) * 2014-08-08 2018-06-05 Sony Interactive Entertainment Inc. Sensory stimulus management in head mounted display
US9469248B2 (en) * 2014-10-10 2016-10-18 Honda Motor Co., Ltd. System and method for providing situational awareness in a vehicle
JP6372402B2 (ja) 2015-03-16 2018-08-15 株式会社デンソー 画像生成装置
US9487139B1 (en) * 2015-05-15 2016-11-08 Honda Motor Co., Ltd. Determining a driver alert level for a vehicle alert system and method of use
DE112015006725T5 (de) * 2015-07-21 2018-04-12 Mitsubishi Electric Corporation Anzeigesteuervorrichtung, Anzeigevorrichtung und Anzeigesteuerverfahren
KR101714185B1 (ko) * 2015-08-05 2017-03-22 엘지전자 주식회사 차량 운전 보조장치 및 이를 포함하는 차량
EP4246094A3 (de) * 2015-09-25 2023-12-27 Apple Inc. Anzeigesystem für erweiterte realität
KR101916993B1 (ko) * 2015-12-24 2018-11-08 엘지전자 주식회사 차량용 디스플레이 장치 및 그 제어방법
DE102016203080A1 (de) 2016-02-26 2017-08-31 Robert Bosch Gmbh Verfahren zum Betreiben eines Head-Up-Displays, Head-Up-Display Einrichtung
US10315566B2 (en) * 2016-03-07 2019-06-11 Lg Electronics Inc. Vehicle control device mounted on vehicle and method for controlling the vehicle
US9809165B1 (en) * 2016-07-12 2017-11-07 Honda Motor Co., Ltd. System and method for minimizing driver distraction of a head-up display (HUD) in a vehicle
DE112017005615T5 (de) * 2016-11-08 2019-09-12 Denso Corporation Anzeigevorrichtung für ein fahrzeug
JP6520905B2 (ja) * 2016-12-19 2019-05-29 トヨタ自動車株式会社 車両用運転支援装置
DE112018000309B4 (de) * 2017-01-04 2021-08-26 Joyson Safety Systems Acquisition Llc Fahrzeugbeleuchtungssysteme und -verfahren
KR20180123354A (ko) * 2017-05-08 2018-11-16 엘지전자 주식회사 차량용 사용자 인터페이스 장치 및 차량
DE102019202588A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
US12030512B2 (en) * 2022-04-06 2024-07-09 GM Global Technology Operations LLC Collision warning system for a motor vehicle having an augmented reality head up display

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102005062151A1 (de) * 2005-12-22 2007-07-05 Daimlerchrysler Ag Verfahren und Vorrichtung zur Unterstützung eines Fahrzeugführers bei der Passage von Fahrwegverengungen
DE102012222053A1 (de) * 2011-12-06 2013-06-06 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Fahrzeuggeisterbild an Anzeige für gesamte Windschutzscheibe
DE112013002354T5 (de) * 2012-05-07 2015-04-16 Honda Motor Co., Ltd. Verfahren zum Erzeugen virtueller Anzeigeflächen aus Videobildern einer straßenbasierten Landschaft
DE102014219575A1 (de) * 2013-09-30 2015-07-23 Honda Motor Co., Ltd. Verbesserte 3-Dimensionale (3-D) Navigation
DE102013016251A1 (de) * 2013-10-01 2014-06-26 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102013016242A1 (de) * 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur Unterstützung mindestens eines Fahrassistenzsystems
DE102013016241A1 (de) 2013-10-01 2015-04-02 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung
DE102014008152A1 (de) 2014-05-30 2014-10-23 Daimler Ag Verfahren und Vorrichtung zur augmentierten Darstellung mindstens einer Zusatzinformation in mindestens einem Bild einer Umgebung
DE102015117381A1 (de) 2014-10-15 2016-04-21 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Systeme und Verfahren zum Anpassen von Merkmalen in einer Head-Up-Anzeige
DE102014119317A1 (de) 2014-12-22 2016-06-23 Connaught Electronics Ltd. Verfahren zur Darstellung eines Bildüberlagerungselements in einem Bild mit 3D-Information, Fahrerassistenzsystem und Kraftfahrzeug
DE102015116160A1 (de) 2015-09-24 2017-03-30 Denso Corporation Head-Up Display mit situationsbasierter Anpassung der Darstellung von virtuellen Bildinhalten
DE102017212367A1 (de) 2017-07-19 2019-01-24 Volkswagen Aktiengesellschaft Verfahren zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm

Also Published As

Publication number Publication date
DE102018203121A1 (de) 2019-09-05
CN111937044B (zh) 2024-10-15
CN111937044A (zh) 2020-11-13
DE102018203121B4 (de) 2023-06-22
EP3759694A1 (de) 2021-01-06
US20210046822A1 (en) 2021-02-18
US11904688B2 (en) 2024-02-20

Similar Documents

Publication Publication Date Title
EP3543059B1 (de) Verfahren zur berechnung einer einblendung von zusatzinformationen für eine anzeige auf einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm
DE102017221191B4 (de) Verfahren zur Anzeige des Verlaufs einer Sicherheitszone vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102018203121B4 (de) Verfahren zur Berechnung einer AR-Einblendung von Zusatzinformationen für eine Anzeige auf einer Anzeigeeinheit, Vorrichtung zur Durchführung des Verfahrens sowie Kraftfahrzeug und Computerprogramm
DE102017212367B4 (de) Vorrichtung zur Anzeige des Verlaufs einer Trajektorie vor einem Fahrzeug oder einem Objekt mit einer Anzeigeeinheit sowie Kraftfahrzeug
EP2720929B1 (de) Verfahren und vorrichtung zur unterstützung eines fahrers bei einer spurführung eines fahrzeugs auf einer fahrbahn
EP3762684A1 (de) Einblendung von zusatzinformationen auf einer anzeigeeinheit
EP3425442B1 (de) Verfahren und vorrichtung zum anreichern eines sichtfeldes eines fahrers eines fahrzeuges mit zusatzinformationen, vorrichtung zur verwendung in einem beobachter-fahrzeug sowie kraftfahrzeug
EP3668742B1 (de) Verfahren zum betreiben eines fahrerassistenzsystems eines kraftfahrzeugs sowie kraftfahrzeug
EP3931034B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP2720899B1 (de) Verfahren und anzeigeeinrichtung zum anzeigen eines fahrzustands eines fahrzeugs und entsprechendes computer-programprodukt
DE102013200862B4 (de) Optimaler Blickort an Anzeige für gesamte Frontscheibe
EP3931023B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931029B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931028B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3717954B1 (de) Verfahren zur anzeige des verlaufs einer trajektorie vor einem fahrzeug oder einem objekt mit einer anzeigeeinheit, vorrichtung zur durchführung des verfahrens
EP3269579B1 (de) Verfahren zum betreiben eines informationssystems und informationssystem
WO2019228779A1 (de) Verfahren zur berechnung einer "augmented reality"-einblendung für die darstellung einer navigationsroute auf einer ar-anzeigeeinheit, vorrichtung zur durchführung des verfahrens sowie kraftfahrzeug und computerprogramm
WO2015000882A1 (de) Assistenzsystem und assistenzverfahren zur unterstützung bei der steuerung eines kraftfahrzeugs
DE102017003399A1 (de) Technik zur Ausgabe von Fahrzeugmeldungen
DE102020200047A1 (de) Verfahren und Vorrichtung zur Darstellung von virtuellen Navigationselementen
EP3931030B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3931025B1 (de) Verfahren zum betreiben eines fahrerinformationssystems in einem ego-fahrzeug und fahrerinformationssystem
EP3343177A1 (de) Fahrerassistenzsystem, computerprogrammprodukt, signalfolge, fortbewegungsmittel und verfahren zur information eines anwenders eines fortbewegungsmittels

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19705167

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2019705167

Country of ref document: EP