WO2023232395A1 - Method for operating an information system, computer program product and vehicle - Google Patents

Method for operating an information system, computer program product and vehicle Download PDF

Info

Publication number
WO2023232395A1
WO2023232395A1 PCT/EP2023/062145 EP2023062145W WO2023232395A1 WO 2023232395 A1 WO2023232395 A1 WO 2023232395A1 EP 2023062145 W EP2023062145 W EP 2023062145W WO 2023232395 A1 WO2023232395 A1 WO 2023232395A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
vehicle
representation
representation data
distance
Prior art date
Application number
PCT/EP2023/062145
Other languages
German (de)
French (fr)
Inventor
Philipp Hüger
Manuel Joachim
Thomas Meyer
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Publication of WO2023232395A1 publication Critical patent/WO2023232395A1/en

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/027—Parking aids, e.g. instruction means
    • B62D15/0285—Parking performed automatically

Definitions

  • the invention relates to a method for operating an information system, a computer program product, and a vehicle.
  • a parking distance control system is often used in conjunction with an optical parking system. This is a representation with a separate top view and the drawing of distance bars.
  • this display requires additional space on the display.
  • the driver can only verify the obstacles detected by the parking distance control system by looking from the vehicle, which can lead to a severe loss of comfort, especially when there are many obstacles. It would therefore be desirable to provide the driver with a better overview of the driving situation so that he can visually verify the vehicle surroundings and/or the distances.
  • a method for operating an information system for providing information about at least one obstacle for a vehicle includes, in particular in the form of process steps:
  • Acquiring environmental data for detecting at least one geometric feature of the obstacle in particular by an environmental sensor system of the information system, providing representation data for representing an image of a vehicle environment that has the geometric feature of the obstacle, in particular by a control unit of the vehicle and/or a vehicle camera of the vehicle,
  • the vehicle can preferably be a motor vehicle, in particular in the form of an electric vehicle, and/or an aircraft.
  • the information system can be at least partially or completely integrated into the vehicle.
  • the information system may include an output interface for outputting the modified representation data.
  • the output interface can be integrated into the control unit in order to display the representation data of a display device, e.g. B. act in the form of a combination instrument in a passenger compartment of the vehicle and / or a, in particular external, mobile terminal.
  • the environmental data can be recorded using sensor data from an environmental sensor system of the information system.
  • the surrounding sensor system can include, for example, a radar, a lidar, an ultrasonic sensor system and/or a vehicle camera.
  • the geometric feature of the obstacle can be recognized using the sensor data.
  • the obstacle can be, for example: B. another, especially parked, vehicle, a tree, a traffic sign and/or the like.
  • the obstacle is part of a bottleneck, e.g. B. when entering a parking garage and / or when driving through a bridge that delimits the road horizontally and / or vertically.
  • the representation data can be generated at least partially or completely from the environmental data or can be generated separately from the environmental data.
  • the image of the vehicle environment can in particular be a real image, e.g. B. in the form of image data, or a stylized image, e.g. B. in the form of virtualization and/or graphical processing of the vehicle environment.
  • the image can advantageously be designed two-dimensionally or three-dimensionally.
  • the vehicle environment can preferably contain several obstacles and/or other environmental features, such as. B. road markings, houses, signs and / or the like.
  • a distance from the vehicle, in particular from a predefined point and/or area of the vehicle, to the obstacle can be determined. It is conceivable that the distance data is normalized to a predetermined height relative to a surface and/or a predetermined vehicle component. To determine the distance data, the environmental data can also be analyzed and/or prepared in the form of a point cloud.
  • the visualization of the distance data can, for example, be a graphic marking, e.g. B. in the form of a color highlighting, an area representing the geometric feature, an area assigned to the geometric feature and / or certain image elements of the representation data.
  • the geometric feature can, for example, include a side and/or edge of the obstacle facing the vehicle.
  • the modification of the representation data and/or the visualization of the distance data are only carried out for critical areas in the representation data.
  • at least one threshold value of a maximum distance can be defined for which the modification of the representation data and/or the visualization takes place.
  • the distance data is assigned directly to the geometric feature and/or the obstacle in order to enable visualization directly at the obstacle in the image of the vehicle environment.
  • Outputting the modified representation data can in particular include displaying and/or providing the representation data, in particular in the form of image data and/or in the form of graphic data, with the image of the vehicle environment.
  • the representation data can be output directly on a Display device can be displayed.
  • the representation data is sent to a display device when output and/or made available to a device for display on a display device.
  • an augmented representation of the vehicle environment can in particular be generated.
  • the method can be carried out when parking the vehicle and/or when passing through a bottleneck.
  • the representation data is recorded using image data from at least one vehicle camera of the vehicle, in particular where the distance data is localized using image elements of the image data.
  • the image elements can be pixels, voxels and/or graphic elements, such as. B. polygons, geometric elements, display areas and / or groupings of the aforementioned graphic elements.
  • the vehicle environment is provided with additional information and/or graphics, such as. B. a representation of the vehicle can be added by retrieving from a storage unit.
  • distance data from several image elements and/or several obstacles can be determined and used to modify the representation data.
  • the representation data can therefore in particular include the image data or consist of the image data.
  • the modified representation data also includes the image data with the visualization of the distance data in the image data when outputting the modified representation data.
  • the image data can advantageously be two-dimensional image data or three-dimensional image data.
  • the representation of the image of the vehicle surroundings is three-dimensional and/or includes a top view of the vehicle surroundings.
  • the vehicle camera can be designed as a stereo camera or several vehicle cameras can be provided to capture the image data three-dimensionally.
  • a user's perception of reality of the modified representation data can be further improved.
  • a three-dimensional image can improve height and/or depth perception. This allows the distance data to be checked for plausibility more easily and/or more reliably by the user.
  • the top view of the vehicle surroundings can e.g. B. be isometric or planar.
  • the top view can be composed of image data from several vehicle cameras. An image of the vehicle can be at least partially added to the image data. Especially when parking a vehicle, the vehicle can be surrounded by several obstacles. The top view gives a user an improved overview of all obstacles.
  • the method comprises the following step:
  • the distance data is determined depending on the environment map and / or the representation data is modified depending on the environment map.
  • the environment map is created depending on the distance data.
  • the environment map can also be called a virtual world.
  • the surrounding map can preferably be three-dimensional, e.g. B. in the form of a point cloud.
  • the environmental map can be created based on sensor data from several sensors of the environmental sensor system.
  • the environmental map can be used to record multiple obstacles and/or geometric features.
  • a distance to the vehicle can be determined for each point in the vehicle surroundings that is recognized in the environmental map and/or is a possible obstacle.
  • the environment map can make it possible to localize the distance data in the representation data.
  • a coordinate transformation is carried out, in which the environment map and/or the representation data are converted into a common coordinate system for the environment map and the representation data.
  • the coordinate system can be the original coordinate system of the environmental data or the representation data.
  • a coordinate system of the representation data may include image coordinates and a coordinate system of the environment map may include world coordinates.
  • the coordinate transformation can in particular include an image-to-world transformation and/or a world-to-image transformation. This allows the environment map to be assigned to the image elements. For example, the points of a point cloud of the surrounding map can be assigned to the pixels of the image data through coordinate transformation.
  • the visualization of the distance data when modifying the representation data takes place depending on a division of the distance data into several segments extending from the vehicle.
  • the segments can, for example, form sectors or parts of sectors of a measuring lobe.
  • the segments can be projected into the image of the representation data, in particular starting from the vehicle.
  • the visualization of the distance data takes place depending on the segments and/or is constant over each segment.
  • the image elements can be colored segment by segment for visualization purposes.
  • the segments can make it easier for the user to assign the distance data and/or evaluate the visualization. This makes it possible to clearly assign the distance data, particularly if there are many obstacles.
  • polygons with at least one piece of color information are generated, the color information being determined as a function of the distance data.
  • the polygons can, for example, be formed from points in the point cloud. It can be provided that each of the polygons is assigned uniform color information depending on the distance data or a color gradient.
  • a distance value can be determined for the geometric feature based on the distance data.
  • the color information can be determined depending on a classification of the distance value.
  • a polygon can be given a red color for a first distance value to visualize the distance data and an orange, yellow or orange color for a second distance value that is greater than the first distance value green color to visualize the distance data. This allows the visualization of the distance data to be perceived by a user in an intuitive manner.
  • the polygons are generated using an envelope model of the environmental data.
  • the envelope model can be used to create virtual boundaries of the obstacle and/or several elements of the vehicle environment.
  • the polygons can be created, for example, based on the virtual boundaries of the geometric feature.
  • the limitations can be simplified, for example based on a minimum distance between the geometric feature and/or the obstacle to the vehicle. It is therefore not necessary to capture every detail of the obstacle and/or the vehicle surroundings in the environmental data. This allows the computing time to be reduced, meaning that the output of the modified representation data can only have a short response time.
  • the distance data is determined as a function of a first height information of the geometric feature, with the first height information of the geometric feature and/or a second height information of the representation data being taken into account when modifying the representation data.
  • the second height information can be determined in particular based on the representation data. For example, a plurality of temporally successive image data, in particular when the vehicle is moving, can be analyzed in order to determine the second height information.
  • the first and second height information allows a more differentiated visualization of the distance information in the representation data. This allows the user to e.g. B. detect whether a geometry of the obstacle that protrudes at a height was correctly recognized.
  • a comparison of the first and second height information is carried out, the distance data in the representation data being localized depending on the comparison of the first and second height information.
  • the distance data is visually assigned to the geometry data if the first and second height information match. This allows the user to see, in particular, directly from the geometric feature in the image of the vehicle's surroundings whether a particular geometric feature has a critical distance from the vehicle.
  • a projection of the distance data ie in particular the visualization of the distance data
  • takes place onto a background of the vehicle surroundings so that the visualization of the distance data in the representation data can be displayed on the obstacle on the ground.
  • the subsurface can, for example, include a floor level.
  • the subsurface can be recognized in particular based on the second height information. For example, starting from a picture element in which the first and second height information match, a picture element vertical to it can be determined, in which the second height information has a zero height and/or a height of the ground. By displaying it on the ground, modification of the obstacle can be avoided, whereby the modified representation data can enable a free and/or uninfluenced view of the obstacle.
  • the output of the modified representation data includes a display of the modified representation data on a display device of the vehicle.
  • the display device can include a display, preferably in the form of a touch screen.
  • the modified representation data with the visualization of the distance data can be made directly available to a driver of the vehicle.
  • the modified representation data, in particular the visualization of the distance data can be adapted and/or individualized via the display device.
  • the projection of the distance data onto the ground can be activated and/or deactivated via the distance device.
  • the modified representation data is output depending on an at least partially or completely automated parking process for moving the vehicle into a parking area.
  • the modified representation data is sent to an external display device, e.g. B. a mobile device, such as a smartphone or tablet, are sent, especially if a user of the vehicle is outside the vehicle during the parking process. This allows the user to check at any time during the parking process whether the vehicle has correctly recognized the vehicle's surroundings and stop the at least partially automated parking process and/or intervene manually in the parking process.
  • the parking area in particular on which the vehicle is to stop, can be automatically recognized and visualized when modifying the representation data.
  • a manual parking process e.g. b. based on a low speed of the vehicle, is automatically recognized and the modified representation data is output depending on the detection and / or activation of the parking process.
  • a computer program product includes commands which, when executed by a control unit, cause the control unit to carry out a method according to the invention.
  • a computer program product thus brings with it the same advantages as have already been described in detail with reference to a method according to the invention.
  • the method can in particular be a computer-implemented method.
  • the computer program product may be implemented as computer-readable instruction code.
  • the computer program product may be stored on a computer-readable storage medium such as a data disk, a removable drive, a volatile or non-volatile memory, or a built-in memory/processor.
  • the computer program product can be made available or made available on a network such as the Internet, from which it can be downloaded or executed online by a user if necessary.
  • the computer program product can be implemented both by means of software and by means of one or more special electronic circuits, i.e. in hardware or in any hybrid form, i.e. by means of software components and hardware components.
  • a vehicle having an information system for providing information about at least one obstacle for the vehicle.
  • the information system includes a control unit for executing a method according to the invention.
  • the control unit can include a processor and/or microprocessor. Furthermore, the control unit can be part of a central control device of the vehicle. However, it is also conceivable that the control unit is integrated in a distributed manner in one or more decentralized control devices, in particular of the vehicle.
  • Figure 1 modified representation data with an image of a vehicle environment based on a top view
  • Figure 2 modified representation data with an image of the vehicle environment using a rear view camera
  • Figure 3 shows an envelope model of a vehicle environment
  • Figure 4 shows a vehicle with an information system for carrying out a method according to the invention
  • Figure 5 shows the process in a schematic representation of process steps.
  • Figure 1 shows a display of modified representation data 300 in a method 100 according to the invention for operating an information system 10 for providing information about at least one obstacle 2 for a vehicle 1 in a first exemplary embodiment.
  • a visualization 302 of distance data 210 of the vehicle 1 to the obstacle 2 takes place directly in an image of a vehicle environment 3 of the vehicle 1, in which the obstacle 2 is located, locally at the obstacle 2.
  • the vehicle 1 is shown in Figure 4, the method 100 is shown in Figure 5.
  • the vehicle 1 has the information system 10 with a control unit 11, which is designed to carry out the method 100.
  • a computer program product can be provided that includes instructions which, when executed by the control unit 11, cause the control unit 11 to carry out the method 100.
  • the method 100 first involves acquiring 101 of environmental data 200 to detect at least one geometric feature 2.1 of the obstacle 2.
  • the vehicle 1 and/or the information system 10 can include an environmental sensor system 20 in order to detect the environmental data 200 on the basis of To obtain sensor data from the surrounding sensor system 20.
  • Environmental data 200 include sensor data from several sensors of the environmental sensor system 20.
  • an environment map 202 of the vehicle environment 3 is created 102 based on the environmental data 200.
  • a point cloud can be created from the environmental data 200.
  • representation data 300 is provided 103, in particular with several image elements, for representing the image of the vehicle environment 3.
  • the representation data 300 can be captured based on image data from at least one vehicle camera 21 of the vehicle 1.
  • the vehicle camera 21 can in particular be part of the surroundings sensor system 20.
  • the image data of the representation data 300 can still be retained and/or merely modified.
  • the image elements of the representation data 300 can be formed, for example, by pixels of the image data.
  • the representation data 300 can be composed of image data from several vehicle cameras 21.
  • an output 106 of the modified representation data 300 can take place depending on an at least partially automated parking process for moving the vehicle 1 into a parking space.
  • the top view has the advantage that a user can simultaneously recognize and monitor several obstacles 2 during the parking process.
  • the representation data 300 includes image data from an individual vehicle camera 21, shown in Figure 2 in the form of image data from a rear view camera.
  • the vehicle camera 21 is designed as a stereo camera, it can be provided that the representation of the image of the vehicle environment 3 is three-dimensional.
  • the method 100 includes determining 104 the distance data 210 of the vehicle 1 to the geometric feature 2.1, i.e. H. in particular to the obstacle 2, depending on the environmental data 200.
  • the distance data 210 preferably includes distance values and / or distance information of a distance or several distances between the vehicle 1 and the obstacle 2.
  • the distance data 210 can be determined depending on the environmental map 202. However, it is also conceivable that the distance data 210 is determined before the environment map 202 is generated and the environment map 202 is determined based on the distance data 210.
  • the representation data 300 is further modified 105 for the visualization 302 of the Distance data 210 in the representation data 300.
  • polygons 201 are included based on the geometric feature 2.1 and the environment data 200, in particular the environment map 202 at least one piece of color information can be generated.
  • the polygons 201 are generated using an envelope model 203 of the environmental data 200, as shown in Figure 3. A virtual boundary is created around the obstacle 2, to which the distance data 210 is related.
  • the color information for the polygons 201 is determined.
  • the modification 105 of the representation data 300 can take place depending on the environment map 202.
  • a coordinate transformation can be carried out, in which the environment map 202 and/or the representation data 300 are converted into a common coordinate system for the environment map 202 and the representation data 300.
  • the visualization 302 of the distance data 210 in the representation data 300 takes place by localizing the distance data 210 in the representation data 300 at the obstacle 2 on the ground of the vehicle environment 3.
  • the distance data 210 is determined depending on a first height information 211 of the geometric feature 2.1.
  • a comparison of the first height information 211 with a second height information 212 is then carried out.
  • the second height information 212 is assigned to the image elements and is determined based on the representation data 300.
  • a projection of the distance data 210 onto a background of the vehicle environment 3 also takes place depending on the first and second height information 211, 212, by first matching the first and second height information 211, 212, in particular in the common coordinate system. is recognized and the projection onto the background takes place based on the image element with the match. Additionally or alternatively, however, it is also conceivable that the visualization 302 takes place directly at the image elements, in particular without the projection, in order, for example, in the display according to FIG. 2 to enable the user to directly assign the visualization 302 of the distance data 210 to the geometric feature 2.1 vertically .
  • the visualization 302 of the distance data 210 when modifying 105 the representation data 300 depending on a division of the distance data 210 into several extending from the vehicle 1 Segments 213 takes place. This allows the perception of the visualization 302 of the distance data 210 and/or the obstacles 2 to be simplified.
  • the modified representation data 300 is then output 106.
  • outputting 106 the modified representation data 300 may include displaying the modified representation data 300 on a display device 12 of the vehicle 1 in order to provide the modified representation data 300 to a driver of the vehicle 1.
  • Obstacle geometry feature vehicle surroundings

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The invention relates to a method (100) for operating an information system (10) for providing information about at least one obstacle (2) for a vehicle (1), comprising: acquiring (101) environmental data (200) to detect at least one geometric feature (2.1) of the obstacle (2). The invention also relates to a computer program product, and to a vehicle (1).

Description

Beschreibung Description
Verfahren zum Betreiben eines Informationssystems, Computerprogrammprodukt sowie Fahrzeug Method for operating an information system, computer program product and vehicle
Die Erfindung betrifft ein Verfahren zum Betreiben eines Informationssystems, ein Computerprogrammprodukt, sowie ein Fahrzeug. The invention relates to a method for operating an information system, a computer program product, and a vehicle.
Es ist aus dem Stand der Technik bekannt, beispielsweise beim Einparken eines Fahrzeuges einen Fahrer des Fahrzeuges vor einer möglichen Kollision mit einem Objekt zu warnen, welches ein Hindernis für das Fahrzeug darstellt. Dazu wird häufig ein Park-Distance-Control- System in Verbindung mit einem optischen Park-System eingesetzt. Hierbei erfolgt eine Darstellung mit einer separaten Draufsicht und dem Einzeichnen von Abstandsbalken. Diese Anzeige benötigt aber zusätzlichen Platz im Display. It is known from the prior art, for example when parking a vehicle, to warn a driver of the vehicle of a possible collision with an object that represents an obstacle to the vehicle. For this purpose, a parking distance control system is often used in conjunction with an optical parking system. This is a representation with a separate top view and the drawing of distance bars. However, this display requires additional space on the display.
Beispielsweise ist es aus der DE 102009 055649 A1 bekannt, eine Kontur des Hindernisses innerhalb einer sog. Messkeule anzuzeigen, um dem Fahrer die Kollisionswarnung zu visualisieren. Die Darstellung mit der Messkeule erfordert dabei eine eigene Darstellung, die dem Fahrer keine Informationen über die übrige Fahrzeugumgebung zur Verfügung stellt.For example, it is known from DE 102009 055649 A1 to display a contour of the obstacle within a so-called measuring lobe in order to visualize the collision warning to the driver. The representation with the measuring lobe requires its own representation, which does not provide the driver with any information about the rest of the vehicle's surroundings.
Dadurch können vom Fahrzeug nicht korrekt erkannte Abstände leicht durch den Fahrer übersehen werden. This means that distances that are not correctly recognized by the vehicle can easily be overlooked by the driver.
Weiterhin kann der Fahrer mit den bekannten Lösungen die vom Park-Distance-Control-System erkannten Hindernisse nur durch einen Blick aus dem Fahrzeug verifizieren, was insbesondere bei vielen Hindernissen zu einem starken Komfortverlust führen kann. Daher wäre es wünschenswert, dem Fahrer einen besseren Überblick über die Fahrsituation zu verschaffen, so dass dieser die Fahrzeugumgebung und/oder die Abstände optisch verifizieren kann. Furthermore, with the known solutions, the driver can only verify the obstacles detected by the parking distance control system by looking from the vehicle, which can lead to a severe loss of comfort, especially when there are many obstacles. It would therefore be desirable to provide the driver with a better overview of the driving situation so that he can visually verify the vehicle surroundings and/or the distances.
Es ist eine Aufgabe der vorliegenden Erfindung, voranstehende, aus dem Stand der Technik bekannte Nachteile zumindest teilweise zu beheben. Insbesondere ist es eine Aufgabe der vorliegenden Erfindung bei einem Fahrzeug eine Übersicht über eine Fahrzeugumgebung bei einer Bereitstellung von Informationen über zumindest ein Hindernis zu verbessern. It is an object of the present invention to at least partially eliminate the above disadvantages known from the prior art. In particular, it is an object of the present invention to improve an overview of a vehicle environment in a vehicle while providing information about at least one obstacle.
Die voranstehende Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 , ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 14, sowie ein Fahrzeug mit den Merkmalen des Anspruchs 15. Weitere Merkmale und Details der Erfindung ergeben sich aus den jeweiligen Unteransprüchen, der Beschreibung und den Zeichnungen. Dabei gelten Merkmale und Details, die im Zusammenhang mit dem erfindungsgemäßen Verfahren beschrieben sind, selbstverständlich auch im Zusammenhang mit dem erfindungsgemäßen Computerprogrammprodukt und/oder dem erfindungsgemäßen Fahrzeug und jeweils umgekehrt, so dass bezüglich der Offenbarung zu den einzelnen Erfindungsaspekten stets wechselseitig Bezug genommen wird bzw. werden kann. The above object is achieved by a method with the features of claim 1, a computer program product with the features of claim 14, and a vehicle with the features of claim 15. Further features and details of the invention result from the respective subclaims, the description and the drawings. Features and details that are described in connection with the method according to the invention naturally also apply in connection with the computer program product according to the invention and/or the vehicle according to the invention and vice versa, so that reference is always made to each other with regard to the disclosure of the individual aspects of the invention. can be.
Gemäß einem ersten Aspekt der Erfindung ist ein Verfahren zum Betreiben eines Informationssystems zur Bereitstellung von Informationen über zumindest ein Hindernis für ein Fahrzeug vorgesehen. Das Verfahren umfasst, insbesondere in Form von Verfahrensschritten: According to a first aspect of the invention, a method for operating an information system for providing information about at least one obstacle for a vehicle is provided. The process includes, in particular in the form of process steps:
Erfassen von Umgebungsdaten zur Erfassung zumindest eines Geometriemerkmals des Hindernisses, insbesondere durch eine Umgebungssensorik des Informationssystems, Bereitstellen von Repräsentationsdaten zur Repräsentation eines Abbildes einer Fahrzeugumgebung, die das Geometriemerkmal des Hindernisses aufweist, insbesondere durch eine Steuereinheit des Fahrzeugs und/oder eine Fahrzeugkamera des Fahrzeugs, Acquiring environmental data for detecting at least one geometric feature of the obstacle, in particular by an environmental sensor system of the information system, providing representation data for representing an image of a vehicle environment that has the geometric feature of the obstacle, in particular by a control unit of the vehicle and/or a vehicle camera of the vehicle,
Bestimmen von Abstandsdaten des Fahrzeugs zu dem Geometriemerkmal in Abhängigkeit von den Umgebungsdaten, insbesondere durch die Steuereinheit,Determining distance data from the vehicle to the geometric feature depending on the environmental data, in particular by the control unit,
- Modifizieren der Repräsentationsdaten zur Visualisierung der Abstandsdaten in den Repräsentationsdaten in Abhängigkeit von einer Lokalisierung der Abstandsdaten in den Repräsentationsdaten, insbesondere durch die Steuereinheit, - Modifying the representation data to visualize the distance data in the representation data depending on a localization of the distance data in the representation data, in particular by the control unit,
- Ausgeben der modifizierten Repräsentationsdaten, insbesondere durch die Steuereinheit und/oder eine Anzeigevorrichtung. - Outputting the modified representation data, in particular by the control unit and/or a display device.
Bei dem Fahrzeug kann es sich vorzugsweise um ein Kraftfahrzeug, insbesondere in Form eines Elektrofahrzeugs, und/oder ein Luftfahrzeug handeln. Das Informationssystem kann zumindest teilweise oder vollständig in das Fahrzeug integriert sein. Beispielsweise kann das Informationssystem eine Ausgabeschnittstelle zum Ausgeben der modifizierten Repräsentationsdaten umfassen. Die Ausgabeschnittstelle kann in die Steuereinheit integriert sein, um die Repräsentationsdaten einer Anzeigevorrichtung, z. B. in Form eines Kombiinstrumentes in einem Fahrgastraum des Fahrzeuges und/oder eines, insbesondere externen, mobilen Endgerätes handeln. The vehicle can preferably be a motor vehicle, in particular in the form of an electric vehicle, and/or an aircraft. The information system can be at least partially or completely integrated into the vehicle. For example, the information system may include an output interface for outputting the modified representation data. The output interface can be integrated into the control unit in order to display the representation data of a display device, e.g. B. act in the form of a combination instrument in a passenger compartment of the vehicle and / or a, in particular external, mobile terminal.
Die Umgebungsdaten können anhand von Sensordaten einer Umfeldsensorik des Informationssystems erfasst werden. Zum Erfassen der Sensordaten kann die Umfeldsensorik beispielsweise ein Radar, ein Lidar, eine Ultraschall-Sensorik und/oder eine Fahrzeugkamera umfassen. Anhand der Sensordaten kann das Geometriemerkmal des Hindernisses erkannt werden. Bei dem Hindernis kann es sich z. B. um ein anderes, insbesondere geparktes, Fahrzeug, einen Baum, ein Verkehrsschild und/oder dergleichen handeln. Weiterhin ist es denkbar, dass das Hindernis Teil einer Engstelle, z. B. bei der Einfahrt in ein Parkhaus und/oder bei einer Durchfahrt einer die Fahrbahn horizontal und/oder vertikal begrenzenden Brücke, ist. The environmental data can be recorded using sensor data from an environmental sensor system of the information system. To record the sensor data, the surrounding sensor system can include, for example, a radar, a lidar, an ultrasonic sensor system and/or a vehicle camera. The geometric feature of the obstacle can be recognized using the sensor data. The obstacle can be, for example: B. another, especially parked, vehicle, a tree, a traffic sign and/or the like. Furthermore, it is conceivable that the obstacle is part of a bottleneck, e.g. B. when entering a parking garage and / or when driving through a bridge that delimits the road horizontally and / or vertically.
Die Repräsentationsdaten können zumindest teilweise oder vollständig aus den Umgebungsdaten erzeugt werden oder separat zu den Umgebungsdaten generiert werden. Das Abbild der Fahrzeugumgebung kann insbesondere ein reales Abbild, z. B. in Form von Bilddaten, oder ein stilisiertes Abbild, z. B. in Form einer Virtualisierung und/oder grafischen Aufbereitung der Fahrzeugumgebung, sein. Das Abbild kann vorteilhafterweise zweidimensional oder dreidimensional ausgestaltet sein. Die Fahrzeugumgebung kann vorzugsweise mehrere Hindernisse und/oder weitere Umgebungsmerkmale, wie z. B. Fahrbahnmarkierungen, Häuser, Schilder und/oder dergleichen, umfassen. The representation data can be generated at least partially or completely from the environmental data or can be generated separately from the environmental data. The image of the vehicle environment can in particular be a real image, e.g. B. in the form of image data, or a stylized image, e.g. B. in the form of virtualization and/or graphical processing of the vehicle environment. The image can advantageously be designed two-dimensionally or three-dimensionally. The vehicle environment can preferably contain several obstacles and/or other environmental features, such as. B. road markings, houses, signs and / or the like.
Beim Bestimmen der Abstandsdaten kann eine Distanz vom Fahrzeug, insbesondere von einem vordefinierten Punkt und/oder Bereich des Fahrzeuges, zu dem Hindernis ermittelt werden. Es ist denkbar, dass die Abstandsdaten auf eine vorbestimmte Höhe zu einem Untergrund und/oder einer vorbestimmten Fahrzeugkomponente normiert werden. Zum Bestimmen der Abstandsdaten können die Umgebungsdaten ferner analysiert und/oder in Form einer Punktewolke aufbereitet werden. When determining the distance data, a distance from the vehicle, in particular from a predefined point and/or area of the vehicle, to the obstacle can be determined. It is conceivable that the distance data is normalized to a predetermined height relative to a surface and/or a predetermined vehicle component. To determine the distance data, the environmental data can also be analyzed and/or prepared in the form of a point cloud.
Die Visualisierung der Abstandsdaten kann beispielsweise eine grafische Markierung, z. B. in Form einer farblichen Hervorhebung, eines das Geometriemerkmal repräsentierenden Bereiches, eines dem Geometriemerkmal zugeordneten Bereiches und/oder bestimmter Bildelemente der Repräsentationsdaten umfassen. Das Geometriemerkmal kann beispielsweise eine dem Fahrzeug zugewandte Seite und/oder Kante des Hindernisses umfassen. The visualization of the distance data can, for example, be a graphic marking, e.g. B. in the form of a color highlighting, an area representing the geometric feature, an area assigned to the geometric feature and / or certain image elements of the representation data. The geometric feature can, for example, include a side and/or edge of the obstacle facing the vehicle.
Insbesondere kann vorgesehen sein, dass das Modifizieren der Repräsentationsdaten und/oder die Visualisierung der Abstandsdaten nur für kritische Bereiche in den Repräsentationsdaten ausgeführt werden. Beispielsweise kann zumindest ein Schwellwert eines maximalen Abstandes definiert sein, für welchen das Modifizieren der Repräsentationsdaten und/oder die Visualisierung erfolgt. Bei der Lokalisierung der Abstandsdaten in den Repräsentationsdaten kann vorzugsweise vorgesehen sein, dass die Abstandsdaten dem Geometriemerkmal und/oder dem Hindernis direkt zugeordnet werden, um die Visualisierung unmittelbar am Hindernis zu in dem Abbild der Fahrzeugumgebung zu ermöglichen. In particular, it can be provided that the modification of the representation data and/or the visualization of the distance data are only carried out for critical areas in the representation data. For example, at least one threshold value of a maximum distance can be defined for which the modification of the representation data and/or the visualization takes place. When locating the distance data in the representation data, it can preferably be provided that the distance data is assigned directly to the geometric feature and/or the obstacle in order to enable visualization directly at the obstacle in the image of the vehicle environment.
Das Ausgeben der modifizierten Repräsentationsdaten kann insbesondere ein Anzeigen und/oder ein Bereitstellen der Repräsentationsdaten, insbesondere in Form von Bilddaten und/oder in Form Grafikdaten, mit dem Abbild der Fahrzeugumgebung umfassen. Outputting the modified representation data can in particular include displaying and/or providing the representation data, in particular in the form of image data and/or in the form of graphic data, with the image of the vehicle environment.
Beispielsweise können die Repräsentationsdaten beim Ausgeben unmittelbar auf einer Anzeigevorrichtung angezeigt werden. Es ist jedoch ebenso denkbar, dass die Repräsentationsdaten beim Ausgeben an eine Anzeigevorrichtung gesendet und/oder einem Gerät zur Anzeige auf einer Anzeigevorrichtung zur Verfügung gestellt werden. For example, the representation data can be output directly on a Display device can be displayed. However, it is also conceivable that the representation data is sent to a display device when output and/or made available to a device for display on a display device.
Durch das Modifizieren der Repräsentationsdaten kann somit insbesondere eine augmentierte Darstellung der Fahrzeugumgebung generiert werden. Dadurch erhält Nutzer des Fahrzeuges einen verbesserten Überblick über die Fahrzeugumgebung, bei dem gleichzeitig relevante Abstandsinformationen eingeblendet werden können. Dies kann einen Nutzerkomfort deutlich verbessern, wenn der Fahrer nicht mehr oder nur noch absichernd einen Rundumblick aus dem Fahrzeug macht, um die Fahrzeugumgebung zu erfassen. Durch die Übersicht über die Fahrzeugumgebung kann der Nutzer die Abstandsdaten ferner z. B. visuell verifizieren und/oder plausibilisieren, wodurch das Vertrauen des Nutzers in das Fahrzeug und/oder das Informationssystem, insbesondere bei Nutzung einer Fahrassistenzfunktion, verbessert sein kann. Beispielsweise kann das Verfahren beim Einparken des Fahrzeuges und/oder bei der Durchfahrt einer Engstelle ausgeführt werden. By modifying the representation data, an augmented representation of the vehicle environment can in particular be generated. This gives the vehicle user an improved overview of the vehicle's surroundings, where relevant distance information can be displayed at the same time. This can significantly improve user comfort if the driver no longer takes a panoramic view of the vehicle, or only takes a protective look, in order to capture the vehicle's surroundings. Thanks to the overview of the vehicle surroundings, the user can also use the distance data, for example. B. visually verify and / or plausibility, which can improve the user's trust in the vehicle and / or the information system, especially when using a driving assistance function. For example, the method can be carried out when parking the vehicle and/or when passing through a bottleneck.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Repräsentationsdaten anhand von Bilddaten von zumindest einer Fahrzeugkamera des Fahrzeugs erfasst werden, insbesondere wobei die Lokalisierung der Abstandsdaten anhand von Bildelementen der Bilddaten erfolgt. Die Bildelemente können Pixel, Voxel und/oder Grafikelemente, wie z. B. Polygone, Geometrieelemente, Darstellungsbereiche und/oder Gruppierungen der vorgenannten Grafikelemente, umfassen. Ferner ist es denkbar, dass der Fahrzeugumgebung beim Bereitstellen der Repräsentationsdaten zusätzliche Informationen und/oder Grafiken, wie z. B. eine Darstellung des Fahrzeuges, durch Abruf von einer Speichereinheit hinzugefügt werden. Vorzugsweise können bei dem Verfahren Abstandsdaten mehrerer Bildelemente und/oder mehrerer Hindernisse bestimmt und zum Modifizieren der Repräsentationsdaten verwendet werden. Vorzugsweise erfolgt beim Modifizieren der Repräsentationsdaten eine daten- und/oder computergestützte Erweiterung der Repräsentationsdaten in Abhängigkeit von den Abstandsdaten, insbesondere in Form einer augmented reality. Somit können die Repräsentationsdaten die Bilddaten insbesondere umfassen oder aus den Bilddaten bestehen. Insbesondere umfassen dabei auch die modifizierten Repräsentationsdaten die Bilddaten mit der Visualisierung der Abstandsdaten in den Bilddaten beim Ausgeben der modifizierten Repräsentationsdaten. Die Bilddaten können vorteilhafterweise zweidimensionale Bilddaten oder dreidimensionale Bilddaten sein. Durch die Verwendung der Bilddaten kann somit einem Nutzer ein reales Abbild der Fahrzeugumgebung angezeigt werden, wodurch, insbesondere nicht in den Umgebungsdaten enthaltene, Details der Fahrzeugumgebung realistisch wiedergegeben werden können und dem Nutzer ein echtes Abbild der Umgebung zeigen können. Dabei kann der Nutzer die Abstandsinformationen besonders komfortabel in den Bilddaten erkennen. Durch die Zuordnung der Bilddaten zu den Pixeln können Abstandsinformationen der Abstandsdaten dabei direkt in die Bilddaten integriert werden, um die Visualisierung zu realisieren. Preferably, in a method according to the invention it can be provided that the representation data is recorded using image data from at least one vehicle camera of the vehicle, in particular where the distance data is localized using image elements of the image data. The image elements can be pixels, voxels and/or graphic elements, such as. B. polygons, geometric elements, display areas and / or groupings of the aforementioned graphic elements. Furthermore, it is conceivable that the vehicle environment is provided with additional information and/or graphics, such as. B. a representation of the vehicle can be added by retrieving from a storage unit. Preferably, in the method, distance data from several image elements and/or several obstacles can be determined and used to modify the representation data. When modifying the representation data, a data and/or computer-aided expansion of the representation data is preferably carried out depending on the distance data, in particular in the form of augmented reality. The representation data can therefore in particular include the image data or consist of the image data. In particular, the modified representation data also includes the image data with the visualization of the distance data in the image data when outputting the modified representation data. The image data can advantageously be two-dimensional image data or three-dimensional image data. By using the image data, a real image of the vehicle's surroundings can be displayed to a user, whereby details of the vehicle's surroundings, in particular those not contained in the environmental data, can be realistically reproduced and can show the user a real image of the surroundings. The user can view the distance information particularly easy to recognize in the image data. By assigning the image data to the pixels, distance information from the distance data can be integrated directly into the image data in order to realize the visualization.
Im Rahmen der Erfindung ist es weiterhin denkbar, dass die Repräsentation des Abbildes der Fahrzeugumgebung dreidimensional ist und/oder eine Draufsicht auf die Fahrzeugumgebung umfasst. Beispielsweise kann die Fahrzeugkamera als Stereokamera ausgestaltet sein oder es können mehrere Fahrzeugkameras vorgesehen sein, um die Bilddaten dreidimensional zu erfassen. Dadurch kann eine Realitätswahrnehmung der modifizierten Repräsentationsdaten durch einen Nutzer weiter verbessert sein. Beispielsweise kann durch ein dreidimensionales Abbild eine Höhen- und/oder Tiefenwahrnehmung verbessert werden. Dadurch können die Abstandsdaten durch den Nutzer einfacher und/oder zuverlässiger plausibilisiert werden. Die Draufsicht auf die Fahrzeugumgebung kann z. B. isometrisch oder planar sein. Ferner kann die Draufsicht aus Bilddaten mehrerer Fahrzeugkameras zusammengesetzt werden. Eine Abbildung des Fahrzeuges kann den Bilddaten dabei zumindest teilweise hinzugefügt werden. Gerade bei einem Einparkvorgang eines Fahrzeuges kann das Fahrzeug von mehreren Hindernissen umgeben sein. Durch die Draufsicht erhält ein Nutzer dabei eine verbesserte Übersicht über sämtliche Hindernisse. Within the scope of the invention, it is further conceivable that the representation of the image of the vehicle surroundings is three-dimensional and/or includes a top view of the vehicle surroundings. For example, the vehicle camera can be designed as a stereo camera or several vehicle cameras can be provided to capture the image data three-dimensionally. As a result, a user's perception of reality of the modified representation data can be further improved. For example, a three-dimensional image can improve height and/or depth perception. This allows the distance data to be checked for plausibility more easily and/or more reliably by the user. The top view of the vehicle surroundings can e.g. B. be isometric or planar. Furthermore, the top view can be composed of image data from several vehicle cameras. An image of the vehicle can be at least partially added to the image data. Especially when parking a vehicle, the vehicle can be surrounded by several obstacles. The top view gives a user an improved overview of all obstacles.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass das Verfahren folgenden Schritt umfasst: Preferably, in a method according to the invention it can be provided that the method comprises the following step:
Erstellen einer Umgebungskarte der Fahrzeugumgebung in Abhängigkeit von den Umgebungsdaten, insbesondere durch die Steuereinheit, wobei die Abstandsdaten in Abhängigkeit von der Umgebungskarte bestimmt werden und/oder das Modifizieren der Repräsentationsdaten in Abhängigkeit von der Umgebungskarte erfolgt. Weiterhin ist es ebenfalls denkbar, dass die Umgebungskarte in Abhängigkeit von den Abstandsdaten erstellt wird. Die Umgebungskarte kann auch als virtuelle Welt bezeichnet werden. Dabei kann die Umgebungskarte vorzugsweise dreidimensional, z. B. in Form einer Punktewolke, erstellt werden. Insbesondere kann die Umgebungskarte anhand von Sensordaten mehrerer Sensoren der Umgebungssensorik erstellt werden. Anhand der Umgebungskarte kann eine Erfassung mehrerer Hindernisse und/oder Geometriemerkmale ermöglicht sein. Vorzugsweise kann beim Bestimmen der Abstandsdaten für jeden in der Umgebungskarte erkannten und/oder als Hindernis infrage kommenden Punkt der Fahrzeugumgebung ein Abstand zum Fahrzeug ermittelt werden. Dadurch können in einfacher Art und Weise, insbesondere in Hinblick auf eine mögliche Kollision, kritische Bereiche erkannt werden. Weiterhin kann durch die Umgebungskarte die Lokalisierung der Abstandsdaten in den Repräsentationsdaten ermöglicht werden. Im Rahmen der Erfindung ist es weiterhin denkbar, dass zum Modifizieren der Repräsentationsdaten eine Koordinatentransformation ausgeführt wird, bei welcher die Umgebungskarte und/oder die Repräsentationsdaten in ein gemeinsames Koordinatensystem für die Umgebungskarte und die Repräsentationsdaten überführt werden. Das Koordinatensystem kann das ursprüngliche Koordinatensystem der Umgebungsdaten oder der Repräsentationsdaten sein. Beispielsweise kann ein Koordinatensystem der Repräsentationsdaten Bildkoordinaten und ein Koordinatensystem der Umgebungskarte Weltkoordinaten umfassen. Die Koordinatentransformation kann insbesondere eine Bild-zu- Welt-Transformation und/oder eine Welt-zu-Bild-Transformation umfassen. Dadurch kann die Umgebungskarte den Bildelementen zugeordnet werden. Beispielsweise können die Punkte einer Punktewolke der Umgebungskarte durch die Koordinatentransformation den Pixeln der Bilddaten zugeordnet werden. Creating an environment map of the vehicle environment depending on the environment data, in particular by the control unit, wherein the distance data is determined depending on the environment map and / or the representation data is modified depending on the environment map. Furthermore, it is also conceivable that the environment map is created depending on the distance data. The environment map can also be called a virtual world. The surrounding map can preferably be three-dimensional, e.g. B. in the form of a point cloud. In particular, the environmental map can be created based on sensor data from several sensors of the environmental sensor system. The environmental map can be used to record multiple obstacles and/or geometric features. Preferably, when determining the distance data, a distance to the vehicle can be determined for each point in the vehicle surroundings that is recognized in the environmental map and/or is a possible obstacle. This allows critical areas to be identified in a simple manner, particularly with regard to a possible collision. Furthermore, the environment map can make it possible to localize the distance data in the representation data. Within the scope of the invention, it is also conceivable that in order to modify the representation data, a coordinate transformation is carried out, in which the environment map and/or the representation data are converted into a common coordinate system for the environment map and the representation data. The coordinate system can be the original coordinate system of the environmental data or the representation data. For example, a coordinate system of the representation data may include image coordinates and a coordinate system of the environment map may include world coordinates. The coordinate transformation can in particular include an image-to-world transformation and/or a world-to-image transformation. This allows the environment map to be assigned to the image elements. For example, the points of a point cloud of the surrounding map can be assigned to the pixels of the image data through coordinate transformation.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass die Visualisierung der Abstandsdaten beim Modifizieren der Repräsentationsdaten in Abhängigkeit von einer Aufteilung der Abstandsdaten auf mehrere, sich vom Fahrzeug erstreckende Segmente erfolgt. Die Segmente können beispielsweise Sektoren oder Teile von Sektoren einer Messkeule bilden. Dabei können die Segmente insbesondere ausgehend vom Fahrzeug in das Abbild der Repräsentationsdaten hineinprojiziert werden. Es ist denkbar, dass die Visualisierung der Abstandsdaten in Abhängigkeit von den Segmenten erfolgt und/oder jeweils über ein Segment konstant ist. Beispielsweise kann zur Visualisierung eine Einfärbung der Bildelemente segmentweise ausgeführt werden. Durch die Segmente kann eine Zuordnung der Abstandsdaten und/oder eine Bewertung der Visualisierung durch den Nutzer vereinfacht sein. Insbesondere bei vielen Hindernissen kann somit eine deutliche Zuordnung der Abstandsdaten ermöglicht sein. Preferably, in a method according to the invention it can be provided that the visualization of the distance data when modifying the representation data takes place depending on a division of the distance data into several segments extending from the vehicle. The segments can, for example, form sectors or parts of sectors of a measuring lobe. The segments can be projected into the image of the representation data, in particular starting from the vehicle. It is conceivable that the visualization of the distance data takes place depending on the segments and/or is constant over each segment. For example, the image elements can be colored segment by segment for visualization purposes. The segments can make it easier for the user to assign the distance data and/or evaluate the visualization. This makes it possible to clearly assign the distance data, particularly if there are many obstacles.
Im Rahmen der Erfindung ist es weiterhin denkbar, dass zur Visualisierung der Abstandsdaten beim Modifizieren der Repräsentationsdaten und/oder beim Bestimmen der Abstandsdaten anhand des Geometriemerkmals und der Umgebungsdaten Polygone mit zumindest einer Farbinformation erzeugt werden, wobei die Farbinformation in Abhängigkeit von den Abstandsdaten festgelegt wird. Die Polygone können beispielsweise aus Punkten der Punktewolke gebildet werden. Es kann vorgesehen sein, dass jedem der Polygone eine einheitliche Farbinformation in Abhängigkeit von den Abstandsdaten zugewiesen wird oder ein Farbverlauf. Vorzugsweise kann für das Geometriemerkmal anhand der Abstandsdaten ein Abstandswert bestimmt werden. In Abhängigkeit von einer Klassifikation des Abstandswertes kann die Farbinformation festgelegt werden. Beispielsweise kann einem Polygon für einen ersten Abstandswert eine rote Farbe zur Visualisierung der Abstandsdaten und für einen zweiten Abstandswert, der größer als der erste Abstandswert ist, eine orange, gelbe oder grüner Farbe zur Visualisierung der Abstandsdaten zugewiesen werden. Dadurch kann die Visualisierung der Abstandsdaten in intuitiver Art und Weise durch einen Nutzer wahrgenommen werden. Within the scope of the invention, it is further conceivable that in order to visualize the distance data when modifying the representation data and/or when determining the distance data based on the geometric feature and the environmental data, polygons with at least one piece of color information are generated, the color information being determined as a function of the distance data. The polygons can, for example, be formed from points in the point cloud. It can be provided that each of the polygons is assigned uniform color information depending on the distance data or a color gradient. Preferably, a distance value can be determined for the geometric feature based on the distance data. The color information can be determined depending on a classification of the distance value. For example, a polygon can be given a red color for a first distance value to visualize the distance data and an orange, yellow or orange color for a second distance value that is greater than the first distance value green color to visualize the distance data. This allows the visualization of the distance data to be perceived by a user in an intuitive manner.
Ferner kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass die Polygone anhand eines Hüllmodells der Umgebungsdaten erzeugt werden. Durch das Hüllmodell können virtuelle Begrenzungen des Hindernisses und/oder mehrerer Elemente der Fahrzeugumgebung erstellt werden. Dabei können die Polygone beispielsweise anhand der virtuellen Begrenzungen des Geometriemerkmals erstellt werden. Dabei können die Begrenzungen, beispielsweise anhand eines geringsten Abstandes des Geometriemerkmals und/oder des Hindernisses zum Fahrzeug, vereinfacht sein. Somit ist es nicht erforderlich, jedes Detail des Hindernisses und/oder der Fahrzeugumgebung in den Umgebungsdaten zu erfassen. Dadurch kann eine Rechenzeit reduziert werden, wodurch das Ausgeben der modifizierten Repräsentationsdaten eine nur kurze Reaktionszeit aufweisen kann. Furthermore, in a method according to the invention it can advantageously be provided that the polygons are generated using an envelope model of the environmental data. The envelope model can be used to create virtual boundaries of the obstacle and/or several elements of the vehicle environment. The polygons can be created, for example, based on the virtual boundaries of the geometric feature. The limitations can be simplified, for example based on a minimum distance between the geometric feature and/or the obstacle to the vehicle. It is therefore not necessary to capture every detail of the obstacle and/or the vehicle surroundings in the environmental data. This allows the computing time to be reduced, meaning that the output of the modified representation data can only have a short response time.
Weiterhin ist es bei einem erfindungsgemäßen Verfahren denkbar, dass die Abstandsdaten in Abhängigkeit von einer ersten Höheninformation des Geometriemerkmals bestimmt werden, wobei beim Modifizieren der Repräsentationsdaten die erste Höheninformation des Geometriemerkmals und/oder eine zweite Höheninformation der Repräsentationsdaten berücksichtigt wird. Die zweite Höheninformation kann insbesondere anhand der Repräsentationsdaten ermittelt werden. Beispielsweise können dazu mehrere, zeitlich aufeinanderfolgende Bilddaten, insbesondere bei einer Bewegung des Fahrzeuges, analysiert werden, um die zweite Höheninformation zu ermitteln. Durch die erste und zweite Höheninformation kann eine differenziertere Visualisierung der Abstandsinformationen in den Repräsentationsdaten erfolgen. Dadurch kann der Nutzer z. B. erkennen, ob eine in einer Höhe hervorstehende Geometrie des Hindernisses korrekt erkannt wurde. Furthermore, in a method according to the invention, it is conceivable that the distance data is determined as a function of a first height information of the geometric feature, with the first height information of the geometric feature and/or a second height information of the representation data being taken into account when modifying the representation data. The second height information can be determined in particular based on the representation data. For example, a plurality of temporally successive image data, in particular when the vehicle is moving, can be analyzed in order to determine the second height information. The first and second height information allows a more differentiated visualization of the distance information in the representation data. This allows the user to e.g. B. detect whether a geometry of the obstacle that protrudes at a height was correctly recognized.
Weiterhin kann bei einem erfindungsgemäßen Verfahren vorteilhafterweise vorgesehen sein, dass beim Modifizieren der Repräsentationsdaten ein Vergleich der ersten und zweiten Höheninformation durchgeführt wird, wobei die Abstandsdaten in den Repräsentationsdaten in Abhängigkeit von dem Vergleich der ersten und zweiten Höheninformation lokalisiert werden. Bei dem Vergleich kann überprüft werden, ob die erste und zweite Höheninformation, insbesondere exakt oder innerhalb eines Toleranzbereiches, übereinstimmen. Es kann vorgesehen sein, dass die Abstandsdaten den Geometriedaten visuell zugeordnet werden, wenn die erste und zweite Höheninformation übereinstimmen. Dadurch kann der Nutzer insbesondere unmittelbar am Geometriemerkmal im Abbild der Fahrzeugumgebung erkennen, ob ein bestimmtes Geometriemerkmal einen kritischen Abstand zu Fahrzeug aufweist. Weiterhin ist es bei einem erfindungsgemäßen Verfahren denkbar, dass beim Modifizieren der Repräsentationsdaten in Abhängigkeit von der ersten und zweiten Höheninformation eine Projektion der Abstandsdaten, d. h. insbesondere der Visualisierung der Abstandsdaten, auf einen Untergrund der Fahrzeugumgebung erfolgt, so dass die Visualisierung der Abstandsdaten in den Repräsentationsdaten am Hindernis auf dem Untergrund anzeigbar ist. Der Untergrund kann beispielsweise eine Bodenebene umfassen. Dabei kann der Untergrund insbesondere anhand der zweiten Höheninformation erkannt werden. Beispielsweise kann, ausgehend von einem Bildelement, bei welchem die erste und zweite Höheninformation übereinstimmen, ein dazu vertikales Bildelement bestimmt werden, bei welchem die zweite Höheninformation eine Nullhöhe und/oder eine Höhe des Untergrundes aufweist. Durch die Anzeige auf dem Untergrund kann eine Modifikation des Hindernisses vermieden werden, wodurch die modifizierten Repräsentationsdaten eine freie und/oder unbeeinflusste Sicht auf das Hindernis ermöglichen können. Furthermore, in a method according to the invention it can advantageously be provided that when the representation data is modified, a comparison of the first and second height information is carried out, the distance data in the representation data being localized depending on the comparison of the first and second height information. During the comparison, it can be checked whether the first and second height information match, in particular exactly or within a tolerance range. It can be provided that the distance data is visually assigned to the geometry data if the first and second height information match. This allows the user to see, in particular, directly from the geometric feature in the image of the vehicle's surroundings whether a particular geometric feature has a critical distance from the vehicle. Furthermore, in a method according to the invention, it is conceivable that when modifying the representation data depending on the first and second height information, a projection of the distance data, ie in particular the visualization of the distance data, takes place onto a background of the vehicle surroundings, so that the visualization of the distance data in the representation data can be displayed on the obstacle on the ground. The subsurface can, for example, include a floor level. The subsurface can be recognized in particular based on the second height information. For example, starting from a picture element in which the first and second height information match, a picture element vertical to it can be determined, in which the second height information has a zero height and/or a height of the ground. By displaying it on the ground, modification of the obstacle can be avoided, whereby the modified representation data can enable a free and/or uninfluenced view of the obstacle.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass das Ausgeben der modifizierten Repräsentationsdaten eine Anzeige der modifizierten Repräsentationsdaten auf einer Anzeigevorrichtung des Fahrzeugs umfasst. Die Anzeigevorrichtung kann ein Display, vorzugsweise in Form eines Touch-Screens, umfassen. Dadurch können die modifizierten Repräsentationsdaten mit der Visualisierung der Abstandsdaten einem Fahrer des Fahrzeuges direkt zur Verfügung gestellt werden. Ferner ist es denkbar, dass die modifizierten Repräsentationsdaten, insbesondere die Visualisierung der Abstandsdaten, über die Anzeigevorrichtung anpassbar und/oder individualisierbar ist. Beispielsweise kann vorgesehen sein, dass die Projektion der Abstandsdaten auf den Untergrund über die Abstandsvorrichtung aktivierbar und/oder deaktivierbar ist. Preferably, in a method according to the invention it can be provided that the output of the modified representation data includes a display of the modified representation data on a display device of the vehicle. The display device can include a display, preferably in the form of a touch screen. This means that the modified representation data with the visualization of the distance data can be made directly available to a driver of the vehicle. Furthermore, it is conceivable that the modified representation data, in particular the visualization of the distance data, can be adapted and/or individualized via the display device. For example, it can be provided that the projection of the distance data onto the ground can be activated and/or deactivated via the distance device.
Vorzugsweise kann bei einem erfindungsgemäßen Verfahren vorgesehen sein, dass das Ausgeben der modifizierten Repräsentationsdaten in Abhängigkeit von einem zumindest teilweise oder vollständig automatisierten Einparkvorgang zum Bewegen des Fahrzeugs auf eine Parkfläche erfolgt. Dabei ist es beispielsweise denkbar, dass die modifizierten Repräsentationsdaten an eine externe Anzeigevorrichtung, z. B. eines mobilen Gerätes, wie beispielsweise eines Smartphones oder Tablets, gesendet werden, insbesondere wenn sich ein Nutzer des Fahrzeuges während des Einparkvorgangs außerhalb des Fahrzeuges befindet. Dadurch kann der Nutzer jederzeit während des Einparkvorgangs überprüfen, ob das Fahrzeug die Fahrzeugumgebung korrekt erkannt hat und den zumindest teilweise automatisierten Einparkvorgang anhalten und/oder in den Einparkvorgang manuell eingreifen. Vorzugsweise kann die Parkfläche, insbesondere auf welcher das Fahrzeug zum Halten kommen soll, automatisch erkannt und beim Modifizieren der Repräsentationsdaten visualisiert werden. Zusätzlich oder alternativ kann es vorgesehen sein, dass ein manueller Einparkvorgang, z. B. anhand einer niedrigen Geschwindigkeit des Fahrzeuges, automatisch erkannt wird und das Ausgeben der modifizierten Repräsentationsdaten in Abhängigkeit von der Erkennung und/oder Aktivierung des Einparkvorgangs erfolgt. Preferably, in a method according to the invention it can be provided that the modified representation data is output depending on an at least partially or completely automated parking process for moving the vehicle into a parking area. It is conceivable, for example, that the modified representation data is sent to an external display device, e.g. B. a mobile device, such as a smartphone or tablet, are sent, especially if a user of the vehicle is outside the vehicle during the parking process. This allows the user to check at any time during the parking process whether the vehicle has correctly recognized the vehicle's surroundings and stop the at least partially automated parking process and/or intervene manually in the parking process. Preferably, the parking area, in particular on which the vehicle is to stop, can be automatically recognized and visualized when modifying the representation data. Additionally or alternatively, it can be provided that a manual parking process, e.g. b. based on a low speed of the vehicle, is automatically recognized and the modified representation data is output depending on the detection and / or activation of the parking process.
Gemäß einem weiteren Aspekt der Erfindung ist ein Computerprogrammprodukt vorgesehen. Das Computerprogrammprodukt umfasst Befehle, die bei einer Ausführung durch eine Steuereinheit die Steuereinheit veranlassen, ein erfindungsgemäßes Verfahren auszuführen. According to a further aspect of the invention, a computer program product is provided. The computer program product includes commands which, when executed by a control unit, cause the control unit to carry out a method according to the invention.
Somit bringt ein erfindungsgemäßer Computerprogrammprodukt die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßen Verfahren beschrieben worden sind. Bei dem Verfahren kann es sich insbesondere um ein computerimplementiertes Verfahren handeln. Das Computerprogrammprodukt kann als computerlesbarer Anweisungscode implementiert sein. Ferner kann das Computerprogrammprodukt auf einem computerlesbaren Speichermedium wie einer Datendisk, einem Wechsellaufwerk, einem flüchtigen oder nichtflüchtigen Speicher, oder einem eingebauten Speicher/Prozessor abgespeichert sein. Ferner kann das Computerprogrammprodukt in einem Netzwerk wie beispielsweise dem Internet bereitstellbar oder bereitgestellt sein, von dem es bei Bedarf von einem Nutzer heruntergeladen oder online ausgeführt werden kann. Das Computerprogrammprodukt kann sowohl mittels einer Software, als auch mittels einer oder mehrerer spezieller elektronischer Schaltungen, d.h. in Hardware oder in beliebig hybrider Form, d.h. mittels Software-Komponenten und Hardware-Komponenten, realisiert sein. A computer program product according to the invention thus brings with it the same advantages as have already been described in detail with reference to a method according to the invention. The method can in particular be a computer-implemented method. The computer program product may be implemented as computer-readable instruction code. Furthermore, the computer program product may be stored on a computer-readable storage medium such as a data disk, a removable drive, a volatile or non-volatile memory, or a built-in memory/processor. Furthermore, the computer program product can be made available or made available on a network such as the Internet, from which it can be downloaded or executed online by a user if necessary. The computer program product can be implemented both by means of software and by means of one or more special electronic circuits, i.e. in hardware or in any hybrid form, i.e. by means of software components and hardware components.
Gemäß einem weiteren Aspekt der Erfindung ist ein Fahrzeug vorgesehen. Das Fahrzeug weist ein Informationssystem zur Bereitstellung von Informationen über zumindest ein Hindernis für das Fahrzeug auf. Das Informationssystem umfasst eine Steuereinheit zum Ausführen eines erfindungsgemäßen Verfahrens. According to a further aspect of the invention, a vehicle is provided. The vehicle has an information system for providing information about at least one obstacle for the vehicle. The information system includes a control unit for executing a method according to the invention.
Somit bringt ein erfindungsgemäßes Fahrzeug die gleichen Vorteile mit sich, wie sie bereits ausführlich mit Bezug auf ein erfindungsgemäßes Verfahren und/oder ein erfindungsgemäßes Computerprogrammprodukt beschrieben worden sind. Die Steuereinheit kann einen Prozessor und/oder Mikroprozessor umfassen. Ferner kann die Steuereinheit Teil eines zentralen Steuergerätes des Fahrzeuges sein. Es ist jedoch ebenso denkbar, dass die Steuereinheit in eines oder mehrere dezentrale Steuergeräte, insbesondere des Fahrzeuges, verteilt integriert ist. A vehicle according to the invention therefore brings with it the same advantages as have already been described in detail with reference to a method according to the invention and/or a computer program product according to the invention. The control unit can include a processor and/or microprocessor. Furthermore, the control unit can be part of a central control device of the vehicle. However, it is also conceivable that the control unit is integrated in a distributed manner in one or more decentralized control devices, in particular of the vehicle.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung, in der unter Bezugnahme auf die Zeichnungen Ausführungsbeispiele der Erfindung im Einzelnen beschrieben sind. Dabei können die in den Ansprüchen und in der Beschreibung erwähnten Merkmale jeweils einzeln für sich oder in beliebiger Kombination erfindungswesentlich sein. Es zeigen schematisch: Further advantages, features and details of the invention emerge from the following description, in which exemplary embodiments of the invention are described in detail with reference to the drawings. The claims and in the The features mentioned in the description may each be essential to the invention individually or in any combination. It shows schematically:
Figur 1 Modifizierte Repräsentationsdaten mit einem Abbild einer Fahrzeugumgebung anhand einer Draufsicht, Figure 1 modified representation data with an image of a vehicle environment based on a top view,
Figur 2 Modifizierte Repräsentationsdaten mit einem Abbild der Fahrzeugumgebung anhand einer Rückfahrkamera, Figure 2 modified representation data with an image of the vehicle environment using a rear view camera,
Figur 3 ein Hüllmodell einer Fahrzeugumgebung, Figure 3 shows an envelope model of a vehicle environment,
Figur 4 ein Fahrzeug mit einem Informationssystem zum Ausführen eines erfindungsgemäßen Verfahrens, und Figure 4 shows a vehicle with an information system for carrying out a method according to the invention, and
Figur 5 das Verfahren in schematischer Darstellung von Verfahrensschritten. Figure 5 shows the process in a schematic representation of process steps.
In der nachfolgenden Beschreibung zu einigen Ausführungsbeispielen der Erfindung werden für die gleichen technischen Merkmale auch in unterschiedlichen Ausführungsbeispielen die identischen Bezugszeichen verwendet. In the following description of some exemplary embodiments of the invention, the identical reference numbers are used for the same technical features in different exemplary embodiments.
Figur 1 zeigt eine Anzeige von modifizierten Repräsentationsdaten 300 bei einem erfindungsgemäßen Verfahren 100 zum Betreiben eines Informationssystems 10 zur Bereitstellung von Informationen über zumindest ein Hindernis 2 für ein Fahrzeug 1 in einem ersten Ausführungsbeispiel. Dabei erfolgt eine Visualisierung 302 von Abstandsdaten 210 des Fahrzeugs 1 zu dem Hindernis 2 unmittelbar in einem Abbild einer Fahrzeugumgebung 3 des Fahrzeugs 1, in welcher sich das Hindernis 2 befindet, lokal an dem Hindernis 2. Figure 1 shows a display of modified representation data 300 in a method 100 according to the invention for operating an information system 10 for providing information about at least one obstacle 2 for a vehicle 1 in a first exemplary embodiment. A visualization 302 of distance data 210 of the vehicle 1 to the obstacle 2 takes place directly in an image of a vehicle environment 3 of the vehicle 1, in which the obstacle 2 is located, locally at the obstacle 2.
Das Fahrzeug 1 ist in Figur 4, das Verfahren 100 ist in Figur 5 dargestellt. Für das Verfahren 100 weist das Fahrzeug 1 das Informationssystem 10 mit einer Steuereinheit 11 auf, die zum Ausführen des Verfahrens 100 ausgebildet ist. Beispielsweise kann ein Computerprogrammprodukt vorgesehen sein, das Befehle umfasst, die bei einer Ausführung durch die Steuereinheit 11 die Steuereinheit 11 veranlassen, das Verfahren 100 auszuführen. The vehicle 1 is shown in Figure 4, the method 100 is shown in Figure 5. For the method 100, the vehicle 1 has the information system 10 with a control unit 11, which is designed to carry out the method 100. For example, a computer program product can be provided that includes instructions which, when executed by the control unit 11, cause the control unit 11 to carry out the method 100.
Zum Erzeugen der modifizierten Repräsentationsdaten 300 erfolgt bei dem Verfahren 100 zunächst ein Erfassen 101 von Umgebungsdaten 200 zur Erfassung zumindest eines Geometriemerkmals 2.1 des Hindernisses 2. Dazu kann das Fahrzeug 1 und/oder das Informationssystem 10 eine Umfeldsensorik 20 umfassen, um die Umgebungsdaten 200 anhand von Sensordaten der Umfeldsensorik 20 zu erhalten. Beispielsweise können die Umgebungsdaten 200 Sensordaten mehrerer Sensoren der Umfeldsensorik 20 umfassen. Anhand der Umgebungsdaten 200 erfolgt insbesondere ein Erstellen 102 einer Umgebungskarte 202 der Fahrzeugumgebung 3. Dazu kann beispielsweise aus den Umgebungsdaten 200 eine Punktewolke erstellt werden. To generate the modified representation data 300, the method 100 first involves acquiring 101 of environmental data 200 to detect at least one geometric feature 2.1 of the obstacle 2. For this purpose, the vehicle 1 and/or the information system 10 can include an environmental sensor system 20 in order to detect the environmental data 200 on the basis of To obtain sensor data from the surrounding sensor system 20. For example, they can Environmental data 200 include sensor data from several sensors of the environmental sensor system 20. In particular, an environment map 202 of the vehicle environment 3 is created 102 based on the environmental data 200. For this purpose, for example, a point cloud can be created from the environmental data 200.
Weiterhin erfolgt bei dem Verfahren 100 ein Bereitstellen 103 von Repräsentationsdaten 300, insbesondere mit mehreren Bildelementen, zur Repräsentation des Abbildes der Fahrzeugumgebung 3. Die Repräsentationsdaten 300 können anhand von Bilddaten von zumindest einer Fahrzeugkamera 21 des Fahrzeugs 1 erfasst werden. Die Fahrzeugkamera 21 kann insbesondere Teil der Umfeldsensorik 20 sein. Insbesondere im Unterschied zu der Umgebungskarte 202 können die Bilddaten der Repräsentationsdaten 300 jedoch weiterhin beibehalten und/oder lediglich modifiziert werden. Die Bildelemente der Repräsentationsdaten 300 können beispielsweise durch Pixel der Bilddaten gebildet sein. Furthermore, in the method 100, representation data 300 is provided 103, in particular with several image elements, for representing the image of the vehicle environment 3. The representation data 300 can be captured based on image data from at least one vehicle camera 21 of the vehicle 1. The vehicle camera 21 can in particular be part of the surroundings sensor system 20. In particular, in contrast to the environment map 202, the image data of the representation data 300 can still be retained and/or merely modified. The image elements of the representation data 300 can be formed, for example, by pixels of the image data.
Figur 1 zeigt dabei Repräsentationsdaten 300 in Form einer Draufsicht auf die Fahrzeugumgebung 3 mit dem Fahrzeug 1. Dabei können die Repräsentationsdaten 300 aus Bilddaten mehrerer Fahrzeugkameras 21 zusammengesetzt werden. Insbesondere kann ein Ausgeben 106 der modifizierten Repräsentationsdaten 300 in Abhängigkeit von einem zumindest teilweise automatisierten Einparkvorgang zum Bewegen des Fahrzeugs 1 auf eine Parkfläche erfolgen. Dabei hat die Draufsicht den Vorteil, dass ein Nutzer während des Einparkvorgangs mehrere Hindernisse 2 gleichzeitig erkennen und überwachen kann. Es ist jedoch ebenso denkbar, dass die Repräsentationsdaten 300 Bilddaten einer einzelnen Fahrzeugkamera 21, in Figur 2 in Form von Bilddaten einer Rückfahrkamera dargestellt, umfassen. Insbesondere wenn mehrere Fahrzeugkameras 21 eingesetzt werden und/oder die Fahrzeugkamera 21 als Stereokamera ausgebildet ist, kann vorgesehen sein, dass die Repräsentation des Abbildes der Fahrzeugumgebung 3 dreidimensional ist. 1 shows representation data 300 in the form of a top view of the vehicle environment 3 with the vehicle 1. The representation data 300 can be composed of image data from several vehicle cameras 21. In particular, an output 106 of the modified representation data 300 can take place depending on an at least partially automated parking process for moving the vehicle 1 into a parking space. The top view has the advantage that a user can simultaneously recognize and monitor several obstacles 2 during the parking process. However, it is also conceivable that the representation data 300 includes image data from an individual vehicle camera 21, shown in Figure 2 in the form of image data from a rear view camera. In particular, if several vehicle cameras 21 are used and/or the vehicle camera 21 is designed as a stereo camera, it can be provided that the representation of the image of the vehicle environment 3 is three-dimensional.
Weiterhin umfasst das Verfahren 100 ein Bestimmen 104 der Abstandsdaten 210 des Fahrzeugs 1 zu dem Geometriemerkmal 2.1, d. h. insbesondere zu dem Hindernis 2, in Abhängigkeit von den Umgebungsdaten 200. Vorzugsweise umfassen die Abstandsdaten 210 Abstandswerte und/oder Abstandsinformationen eines Abstandes oder mehrerer Abstände zwischen dem Fahrzeug 1 und dem Hindernis 2. Die Abstandsdaten 210 können in Abhängigkeit von der Umgebungskarte 202 bestimmt werden. Es ist jedoch ebenso denkbar, dass die Abstandsdaten 210 vor dem Erzeugen der Umgebungskarte 202 bestimmt werden und die Umgebungskarte 202 anhand der Abstandsdaten 210 bestimmt wird. Furthermore, the method 100 includes determining 104 the distance data 210 of the vehicle 1 to the geometric feature 2.1, i.e. H. in particular to the obstacle 2, depending on the environmental data 200. The distance data 210 preferably includes distance values and / or distance information of a distance or several distances between the vehicle 1 and the obstacle 2. The distance data 210 can be determined depending on the environmental map 202. However, it is also conceivable that the distance data 210 is determined before the environment map 202 is generated and the environment map 202 is determined based on the distance data 210.
In Abhängigkeit von einer Lokalisierung der Abstandsdaten 210 in den Repräsentationsdaten erfolgt ferner ein Modifizieren 105 der Repräsentationsdaten 300 zur Visualisierung 302 der Abstandsdaten 210 in den Repräsentationsdaten 300. Vorteilhafterweise werden zur Visualisierung 302 der Abstandsdaten 210, insbesondere beim Modifizieren 105 der Repräsentationsdaten 300 und/oder beim Bestimmen 104 der Abstandsdaten 210, anhand des Geometriemerkmals 2.1 und der Umgebungsdaten 200, insbesondere der Umgebungskarte 202, Polygone 201 mit zumindest einer Farbinformation erzeugt werden. Die Polygone 201 werden dabei anhand eines Hüllmodells 203 der Umgebungsdaten 200 erzeugt, wie in Figur 3 gezeigt. Dabei wird um das Hindernis 2 eine virtuelle Begrenzung erzeugt, auf welche die Abstandsdaten 210 bezogen werden. In Abhängigkeit von den Abstandsdaten 210 werden dabei die Farbinformation für die Polygone 201 festgelegt. Vorteilhafterweise kann das Modifizieren 105 der Repräsentationsdaten 300 in Abhängigkeit von der Umgebungskarte 202 erfolgen. Dazu kann eine Koordinatentransformation ausgeführt werden, bei welcher die Umgebungskarte 202 und/oder die Repräsentationsdaten 300 in ein gemeinsames Koordinatensystem für die Umgebungskarte 202 und die Repräsentationsdaten 300 überführt werden. Depending on a localization of the distance data 210 in the representation data, the representation data 300 is further modified 105 for the visualization 302 of the Distance data 210 in the representation data 300. Advantageously, for visualization 302 of the distance data 210, in particular when modifying 105 the representation data 300 and/or when determining 104 the distance data 210, polygons 201 are included based on the geometric feature 2.1 and the environment data 200, in particular the environment map 202 at least one piece of color information can be generated. The polygons 201 are generated using an envelope model 203 of the environmental data 200, as shown in Figure 3. A virtual boundary is created around the obstacle 2, to which the distance data 210 is related. Depending on the distance data 210, the color information for the polygons 201 is determined. Advantageously, the modification 105 of the representation data 300 can take place depending on the environment map 202. For this purpose, a coordinate transformation can be carried out, in which the environment map 202 and/or the representation data 300 are converted into a common coordinate system for the environment map 202 and the representation data 300.
Wie in den Figuren 1 und 2 dargestellt, kann ferner vorteilhafterweise vorgesehen sein, dass die Visualisierung 302 der Abstandsdaten 210 in den Repräsentationsdaten 300 durch die Lokalisierung der Abstandsdaten 210 in den Repräsentationsdaten 300 am Hindernis 2 auf dem Untergrund der Fahrzeugumgebung 3 erfolgt. Dazu werden die Abstandsdaten 210 in Abhängigkeit von einer ersten Höheninformation 211 des Geometriemerkmals 2.1 bestimmt. Beim Modifizieren 105 der Repräsentationsdaten 300 wird dann ein Vergleich der ersten Höheninformation 211 mit einer zweiten Höheninformation 212 durchgeführt. Die zweite Höheninformation 212 ist den Bildelementen zugeordnet und wird anhand der Repräsentationsdaten 300 ermittelt. Beim Modifizieren 105 der Repräsentationsdaten 300 erfolgt ferner in Abhängigkeit von der ersten und zweiten Höheninformation 211 , 212 eine Projektion der Abstandsdaten 210 auf einen Untergrund der Fahrzeugumgebung 3, indem zunächst eine Übereinstimmung der ersten und zweiten Höheninformation 211, 212, insbesondere in dem gemeinsamen Koordinatensystem, erkannt wird und ausgehend von dem Bildelement mit der Übereinstimmung die Projektion auf den Untergrund erfolgt. Zusätzlich oder alternativ ist es jedoch ebenso denkbar, dass die Visualisierung 302 unmittelbar bei den Bildelementen, insbesondere ohne die Projektion, erfolgt, um beispielsweise bei der Anzeige gemäß Figur 2 dem Nutzer eine unmittelbare Zuordnung der Visualisierung 302 der Abstandsdaten 210 zum Geometriemerkmal 2.1 vertikal zu ermöglichen. As shown in Figures 1 and 2, it can also advantageously be provided that the visualization 302 of the distance data 210 in the representation data 300 takes place by localizing the distance data 210 in the representation data 300 at the obstacle 2 on the ground of the vehicle environment 3. For this purpose, the distance data 210 is determined depending on a first height information 211 of the geometric feature 2.1. When modifying 105 the representation data 300, a comparison of the first height information 211 with a second height information 212 is then carried out. The second height information 212 is assigned to the image elements and is determined based on the representation data 300. When modifying 105 the representation data 300, a projection of the distance data 210 onto a background of the vehicle environment 3 also takes place depending on the first and second height information 211, 212, by first matching the first and second height information 211, 212, in particular in the common coordinate system. is recognized and the projection onto the background takes place based on the image element with the match. Additionally or alternatively, however, it is also conceivable that the visualization 302 takes place directly at the image elements, in particular without the projection, in order, for example, in the display according to FIG. 2 to enable the user to directly assign the visualization 302 of the distance data 210 to the geometric feature 2.1 vertically .
Wie in Figur 1 gezeigt, kann es ferner von Vorteil sein, wenn die Visualisierung 302 der Abstandsdaten 210 beim Modifizieren 105 der Repräsentationsdaten 300 in Abhängigkeit von einer Aufteilung der Abstandsdaten 210 auf mehrere, sich vom Fahrzeug 1 erstreckende Segmente 213 erfolgt. Dadurch kann die Wahrnehmung der Visualisierung 302 der Abstandsdaten 210 und/oder der Hindernisse 2 vereinfacht sein. As shown in Figure 1, it can also be advantageous if the visualization 302 of the distance data 210 when modifying 105 the representation data 300 depending on a division of the distance data 210 into several extending from the vehicle 1 Segments 213 takes place. This allows the perception of the visualization 302 of the distance data 210 and/or the obstacles 2 to be simplified.
Anschließend erfolgt ein Ausgeben 106 der modifizierten Repräsentationsdaten 300.The modified representation data 300 is then output 106.
Beispielsweise kann das Ausgeben 106 der modifizierten Repräsentationsdaten 300 eine Anzeige der modifizierten Repräsentationsdaten 300 auf einer Anzeigevorrichtung 12 des Fahrzeugs 1 umfassen, um die modifizierten Repräsentationsdaten 300 einem Fahrer des Fahrzeuges 1 bereitzustellen. For example, outputting 106 the modified representation data 300 may include displaying the modified representation data 300 on a display device 12 of the vehicle 1 in order to provide the modified representation data 300 to a driver of the vehicle 1.
Bezugszeichenliste Reference symbol list
Fahrzeug vehicle
Hindernis Geometriemerkmal Fahrzeugumgebung Obstacle geometry feature vehicle surroundings
I nformationssystem Steuereinheit Anzeigevorrichtung Information system control unit display device
Umfeldsensorik Fahrzeugkamera Surrounding sensor system vehicle camera
Verfahren Proceedings
Erfassen von 200 Capturing 200
Erstellen von 202 Creating 202
Bereitstellung von 300 Bestimmen von 210 Modifizieren von 300 Providing 300 Determining 210 Modifying 300
Ausgeben von 300 Spend 300
Umgebungsdaten Polygon Umgebungskarte Environment data polygon environment map
Hüllmodell Envelope model
Abstandsdaten erste Höheninformation zweite Höheninformation Distance data first height information second height information
Segmente Segments
Repräsentationsdaten Visualisierung von 210 Representation data visualization of 210

Claims

Patentansprüche Verfahren (100) zum Betreiben eines Informationssystems (10) zur Bereitstellung von Informationen über zumindest ein Hindernis (2) für ein Fahrzeug (1), umfassend: Claims Method (100) for operating an information system (10) for providing information about at least one obstacle (2) for a vehicle (1), comprising:
Erfassen (101) von Umgebungsdaten (200) zur Erfassung zumindest eines Geometriemerkmals (2.1) des Hindernisses (2), Detecting (101) environmental data (200) to detect at least one geometric feature (2.1) of the obstacle (2),
Bereitstellen (103) von Repräsentationsdaten (300) zur Repräsentation eines Abbildes einer Fahrzeugumgebung (3), die das Geometriemerkmal (2.1) des Hindernisses (2) aufweist, Providing (103) representation data (300) for representing an image of a vehicle environment (3) which has the geometric feature (2.1) of the obstacle (2),
Bestimmen (104) von Abstandsdaten (210) des Fahrzeugs (1) zu dem Geometriemerkmal (2.1) in Abhängigkeit von den Umgebungsdaten (200), Modifizieren (105) der Repräsentationsdaten (300) zur Visualisierung (302) der Abstandsdaten (210) in den Repräsentationsdaten (300) in Abhängigkeit von einer Lokalisierung der Abstandsdaten (210) in den Repräsentationsdaten (300), Ausgeben (106) der modifizierten Repräsentationsdaten (300). Verfahren (100) nach Anspruch 1 , dadurch gekennzeichnet, dass die Repräsentationsdaten (300) anhand von Bilddaten von zumindest einer Fahrzeugkamera (21) des Fahrzeugs (1) erfasst werden, wobei die Lokalisierung der Abstandsdaten (210) anhand von Bildelementen der Bilddaten erfolgt. Verfahren (100) nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Repräsentation des Abbildes der Fahrzeugumgebung (3) dreidimensional ist und/oder eine Draufsicht auf die Fahrzeugumgebung (3) umfasst. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren (100) folgenden Schritt umfasst: Determining (104) distance data (210) of the vehicle (1) to the geometric feature (2.1) depending on the environmental data (200), modifying (105) the representation data (300) to visualize (302) the distance data (210) in the Representation data (300) depending on a localization of the distance data (210) in the representation data (300), outputting (106) the modified representation data (300). Method (100) according to claim 1, characterized in that the representation data (300) is recorded using image data from at least one vehicle camera (21) of the vehicle (1), the distance data (210) being localized using image elements of the image data. Method (100) according to claim 1 or 2, characterized in that the representation of the image of the vehicle environment (3) is three-dimensional and/or comprises a top view of the vehicle environment (3). Method (100) according to one of the preceding claims, characterized in that the method (100) comprises the following step:
Erstellen (102) einer Umgebungskarte (202) der Fahrzeugumgebung (3) in Abhängigkeit von den Umgebungsdaten (200), wobei die Abstandsdaten (210) in Abhängigkeit von der Umgebungskarte (202) bestimmt werden und/oder das Modifizieren (105) der Repräsentationsdaten (300) in Abhängigkeit von der Umgebungskarte (202) erfolgt. Verfahren (100) nach Anspruch 4, dadurch gekennzeichnet, dass zum Modifizieren (105) der Repräsentationsdaten (300) eine Koordinatentransformation ausgeführt wird, bei welcher die Umgebungskarte (202) und/oder die Repräsentationsdaten (300) in ein gemeinsames Koordinatensystem für die Umgebungskarte (202) und die Repräsentationsdaten (300) überführt werden. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Visualisierung der Abstandsdaten (210) beim Modifizieren (105) der Repräsentationsdaten (300) in Abhängigkeit von einer Aufteilung der Abstandsdaten (210) auf mehrere, sich vom Fahrzeug (1) erstreckende Segmente (213) erfolgt. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Visualisierung der Abstandsdaten (210) beim Modifizieren (105) der Repräsentationsdaten (300) anhand des Geometriemerkmals (2.1) und der Umgebungsdaten (200) Polygone (201) mit zumindest einer Farbinformation erzeugt werden, wobei die Farbinformation in Abhängigkeit von den Abstandsdaten (210) festgelegt wird. Verfahren (100) nach Anspruch 7, dadurch gekennzeichnet, dass die Polygone (201) anhand eines Hüllmodells (203) der Umgebungsdaten (200) erzeugt werden. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Abstandsdaten (210) in Abhängigkeit von einer ersten Höheninformation (211) des Geometriemerkmals (2.1) bestimmt werden, wobei beim Modifizieren (105) der Repräsentationsdaten (300) die erste Höheninformation (211) des Geometriemerkmals (2.1) und/oder eine zweite Höheninformation (212) der Repräsentationsdaten (300) berücksichtigt wird. Verfahren (100) nach Anspruch 9, dadurch gekennzeichnet, dass beim Modifizieren (105) der Repräsentationsdaten (300) ein Vergleich der ersten und zweiten Höheninformation (211 , 212) durchgeführt wird, wobei die Abstandsdaten (210) in den Repräsentationsdaten (300) in Abhängigkeit von dem Vergleich der ersten und zweiten Höheninformation (211 , 212) lokalisiert werden. Verfahren (100) nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass beim Modifizieren (105) der Repräsentationsdaten (300) in Abhängigkeit von der ersten und zweiten Höheninformation (211, 212) eine Projektion der Abstandsdaten (210) auf einen Untergrund der Fahrzeugumgebung (3) erfolgt, so dass die Visualisierung der Abstandsdaten (210) in den Repräsentationsdaten (300) am Hindernis (2) auf dem Untergrund anzeigbar ist. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ausgeben (106) der modifizierten Repräsentationsdaten (300) eine Anzeige der modifizierten Repräsentationsdaten (300) auf einer Anzeigevorrichtung (12) des Fahrzeugs (1) umfasst. Verfahren (100) nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Ausgeben (106) der modifizierten Repräsentationsdaten (300) in Abhängigkeit von einem zumindest teilweise automatisierten Einparkvorgang zum Bewegen des Fahrzeugs (1) auf eine Parkfläche erfolgt. Computerprogrammprodukt, umfassend Befehle, die bei einer Ausführung durch eine Steuereinheit (11) die Steuereinheit (11) veranlassen, ein Verfahren (100) nach einem der vorhergehenden Ansprüche auszuführen. Fahrzeug (1) aufweisend ein Informationssystem (10) zur Bereitstellung (103) von Informationen über zumindest ein Hindernis (2) für das Fahrzeug (1) mit einer Steuereinheit (11) zum Ausführen eines Verfahrens (100) nach einem der Ansprüche 1 bis 13. Creating (102) an environment map (202) of the vehicle environment (3) as a function of the environment data (200), the distance data (210) being determined as a function of the environment map (202) and/or modifying (105) the representation data ( 300) depending on the environment map (202). Method (100) according to claim 4, characterized in that to modify (105) the representation data (300), a coordinate transformation is carried out, in which the environment map (202) and / or the representation data (300) are converted into a common coordinate system for the environment map ( 202) and the representation data (300) are transferred. Method (100) according to one of the preceding claims, characterized in that the visualization of the distance data (210) when modifying (105) the representation data (300) depending on a division of the distance data (210) into several, from the vehicle (1) extending segments (213). Method (100) according to one of the preceding claims, characterized in that to visualize the distance data (210) when modifying (105) the representation data (300) based on the geometric feature (2.1) and the environmental data (200) polygons (201) with at least one Color information is generated, the color information being determined depending on the distance data (210). Method (100) according to claim 7, characterized in that the polygons (201) are generated using an envelope model (203) of the environmental data (200). Method (100) according to one of the preceding claims, characterized in that the distance data (210) is determined as a function of a first height information (211) of the geometric feature (2.1), wherein when modifying (105) the representation data (300) the first height information (211) of the geometric feature (2.1) and/or a second height information (212) of the representation data (300) is taken into account. Method (100) according to claim 9, characterized in that when modifying (105) the representation data (300), a comparison of the first and second height information (211, 212) is carried out, the distance data (210) in the representation data (300) depending on the comparison of the first and second height information (211 , 212). Method (100) according to one of claims 9 or 10, characterized in that when modifying (105) the representation data (300) depending on the first and second height information (211, 212), a projection of the distance data (210) onto a background of the Vehicle environment (3) takes place so that the visualization of the distance data (210) can be displayed in the representation data (300) on the obstacle (2) on the ground. Method (100) according to one of the preceding claims, characterized in that the output (106) of the modified representation data (300) includes displaying the modified representation data (300) on a display device (12) of the vehicle (1). Method (100) according to one of the preceding claims, characterized in that the output (106) of the modified representation data (300) takes place as a function of an at least partially automated parking process for moving the vehicle (1) into a parking space. Computer program product, comprising instructions which, when executed by a control unit (11), cause the control unit (11) to carry out a method (100) according to one of the preceding claims. Vehicle (1) having an information system (10) for providing (103) information about at least one obstacle (2) for the vehicle (1) with a control unit (11) for executing a method (100) according to one of claims 1 to 13 .
PCT/EP2023/062145 2022-05-30 2023-05-08 Method for operating an information system, computer program product and vehicle WO2023232395A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102022205393.1 2022-05-30
DE102022205393.1A DE102022205393A1 (en) 2022-05-30 2022-05-30 Method for operating an information system, computer program product and vehicle

Publications (1)

Publication Number Publication Date
WO2023232395A1 true WO2023232395A1 (en) 2023-12-07

Family

ID=86378440

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2023/062145 WO2023232395A1 (en) 2022-05-30 2023-05-08 Method for operating an information system, computer program product and vehicle

Country Status (2)

Country Link
DE (1) DE102022205393A1 (en)
WO (1) WO2023232395A1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011058822A1 (en) * 2009-11-12 2011-05-19 クラリオン株式会社 Vehicle surrounding display device, vehicle surrounding display method
DE102009055649A1 (en) 2009-11-24 2011-05-26 Bayerische Motoren Werke Aktiengesellschaft Parking assistance device operating method for car, involves producing collision warning signal if collision time-parameter falls below threshold value, and producing spacer signal for supporting parking process
US20140104423A1 (en) * 2012-10-11 2014-04-17 Hyundai Motor Company Apparatus and method for calculating and displaying the height of an object detected in an image on a display
DE102016118365A1 (en) * 2015-10-01 2017-04-06 Ford Global Technologies, Llc Park obstruction positioning means and height estimator
DE112017002189T5 (en) * 2016-04-26 2019-01-10 Denso Corporation Display control unit

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE537032T1 (en) 2008-10-28 2011-12-15 Volkswagen Ag PARKING ASSISTANCE SYSTEM AND METHOD FOR OPERATING A PARKING ASSISTANCE SYSTEM FOR A MOTOR VEHICLE
DE102011105884B4 (en) 2011-06-28 2019-02-21 Volkswagen Aktiengesellschaft Method and device for parking a vehicle

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011058822A1 (en) * 2009-11-12 2011-05-19 クラリオン株式会社 Vehicle surrounding display device, vehicle surrounding display method
DE102009055649A1 (en) 2009-11-24 2011-05-26 Bayerische Motoren Werke Aktiengesellschaft Parking assistance device operating method for car, involves producing collision warning signal if collision time-parameter falls below threshold value, and producing spacer signal for supporting parking process
US20140104423A1 (en) * 2012-10-11 2014-04-17 Hyundai Motor Company Apparatus and method for calculating and displaying the height of an object detected in an image on a display
DE102016118365A1 (en) * 2015-10-01 2017-04-06 Ford Global Technologies, Llc Park obstruction positioning means and height estimator
DE112017002189T5 (en) * 2016-04-26 2019-01-10 Denso Corporation Display control unit

Also Published As

Publication number Publication date
DE102022205393A1 (en) 2023-11-30

Similar Documents

Publication Publication Date Title
DE102013209415B4 (en) Dynamic clue overlay with image cropping
EP2766879A2 (en) Method for integrating virtual objects into vehicle displays
DE102009029439A1 (en) Method and device for representing obstacles in a parking assistance system of motor vehicles
EP3762857A1 (en) Surround view system having an adapted projection surface
DE102017218074A1 (en) Method for representing an environment of a vehicle
DE102012208288A1 (en) Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display
DE102014119317A1 (en) Method for displaying an image overlay element in an image with 3D information, driver assistance system and motor vehicle
DE102018122892A1 (en) Clutch assist system with hitch identification feature and hitch rating
EP4025460A1 (en) Display of a vehicle environment for moving the vehicle to a target position
EP3327698A1 (en) Method for assisting a driver of a motor vehicle when parking the motor vehicle in a parking lot, driver assistance system and motor vehicle
WO2017198429A1 (en) Ascertainment of vehicle environment data
DE102019132996A1 (en) Estimating a three-dimensional position of an object
DE102013215408A1 (en) A vehicle display system and method for displaying a vehicle environment
DE102020213146B3 (en) Camera system for detecting the surroundings for a vehicle and a method for operating such a camera system
EP3380357B1 (en) Driver assistance system featuring adaptive processing of image data of the surroundings
DE102020004215A1 (en) Method for representing a traffic situation in a vehicle
WO2023232395A1 (en) Method for operating an information system, computer program product and vehicle
DE112018005744T5 (en) OPERATOR ASSISTANCE VIEWING SYSTEM
WO2019072466A1 (en) Method for displaying images of a camera system of a vehicle
DE102022107907A1 (en) Sensor fusion-based three-dimensional Stixel representation in a top view for detecting a general obstacle in a vehicle
DE102018107212A1 (en) A method for detecting a traffic area occupancy detection auxiliary element in a surrounding area of a motor vehicle, computer program product and vehicle guidance system
EP3571091B1 (en) Method and device for displaying the surroundings of a vehicle
WO2012028230A1 (en) Method for representing auxiliary lines in a camera-based driver assistance system
DE102016124989A1 (en) Curb representation with a three-dimensional body in a driver assistance system for a motor vehicle
DE102021211309A1 (en) Method for generating a representation of a mobile platform environment

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23723591

Country of ref document: EP

Kind code of ref document: A1