WO2014202496A1 - Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug - Google Patents

Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug Download PDF

Info

Publication number
WO2014202496A1
WO2014202496A1 PCT/EP2014/062495 EP2014062495W WO2014202496A1 WO 2014202496 A1 WO2014202496 A1 WO 2014202496A1 EP 2014062495 W EP2014062495 W EP 2014062495W WO 2014202496 A1 WO2014202496 A1 WO 2014202496A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
image
image information
environment
information
Prior art date
Application number
PCT/EP2014/062495
Other languages
English (en)
French (fr)
Inventor
Stephan Max
Alexander Urban
Claudia PRAUßE
Original Assignee
Volkswagen Aktiengesellschaft
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Volkswagen Aktiengesellschaft filed Critical Volkswagen Aktiengesellschaft
Publication of WO2014202496A1 publication Critical patent/WO2014202496A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/32—Indexing scheme for image data processing or generation, in general involving image mosaicing

Definitions

  • the present invention relates to a method for displaying environmental information of a vehicle on a display device of the vehicle, in particular in a plan view from above, which represents the vehicle in the environment.
  • the present invention further relates to a corresponding display system for a vehicle.
  • display systems are installed in the vehicles that depict an environment of the vehicle on a display device in the vehicle.
  • Particularly advantageous are so-called area-view systems, which represent with the aid of several cameras and an image processing unit, a plan view or bird's eye view of the vehicle from above with the surrounding environment.
  • Such systems are very helpful to the driver, but are relatively expensive and expensive due to the distributed camera system.
  • Such a system with, for example, four cameras, which at a front of the
  • the system includes a
  • a display device provided in a vehicle and a plurality of
  • Image sensing devices mounted at respective inclination angles with respect to the horizontal plane on the front, rear, right and left regions of the vehicle.
  • the image capture devices capture images around the vehicle.
  • a bird's eye view image generator generates a first one
  • Direction of travel of the vehicle detected and multiple images of the environment are generated.
  • three-dimensional structures and their position in the environment are detected by tracking a movement of these structures within an image sequence consisting of the several images.
  • Information about structures is transferred to a two-dimensional cell-based map of the environment. Each cell of the map is assigned an information as to whether this cell is occupied by an object represented by the structures.
  • DE 101 149 32 B4 relates to a three-dimensional environment detection, in particular for the detection of parking spaces.
  • a distance sensor generates a sequence of two-dimensional distance profiles. By sequencing a successive set of distance profiles, a three-dimensional image of the environment is created and a covered path of the road vehicle is created between the individual
  • DE 10 2009 019 024 A1 relates to a method for avoiding collisions when opening vehicle doors of a vehicle.
  • objects in an environment of the vehicle are detected and a collision risk indicating reaction signal is generated when there is a risk of collision with at least one of the detected objects when opening at least one vehicle door.
  • An environment sensor detects the objects as the vehicle passes by and determines their positions and dimensions.
  • DE 69 515 087 T2 relates to a visual imaging system for the electronic imaging and processing of a hemispherical field of view.
  • a camera receives optical images of a hemispherical field of view and produces output signals corresponding to the optical images.
  • An image of peripheral areas of the hemispherical field of view is captured and enhanced, and a portion of the field of view in a range of approximately 1 to 45 degrees above the horizon of the captured image of a hemispherical field of view is magnified.
  • EP 1 403 137 B1 relates to a condition monitoring device of a movable body.
  • An environment information acquirer detects and stores
  • Wegab andincardi estimates a path of movement of the movable body.
  • a distance determiner identifies an object that appears along the estimated path of movement of the moveable body and determines the shortest distance along the estimated path of movement of the moveable body between a portion of the moveable body and a portion of the object that contact each other as the moveable body moves along the estimated movement path of the movable body moves.
  • An indicating means indicates a positional relationship between the movable body and the object based on the one of
  • EP 1 403 138 A1 relates to an environmental monitoring device for a movable body.
  • An image capturing means which is attached to the movable body, captures an image of an environment of the movable body.
  • An environment constructing means constructs a three-dimensional environment of the environment of the movable body on the The basis of the acquired image and a judging means evaluate whether the environment of the movable body satisfies a predetermined condition based on the constructed three-dimensional environment.
  • DE 10 201 1 109 712 A1 relates to a method for assisted parking of a
  • a first parking trajectory is determined for a target point in the parking space and while the vehicle is moving along the first parking trajectory, with the detection of an arranged in the driving tube of the first parking trajectory obstacle during the parking operation, a second parking trajectory is determined taking into account the obstacle for the parking space, and the parking process along the second
  • Object of the present invention is therefore to realize a visual reproduction of the environment for example, a parking cost.
  • first image information of an environment of the vehicle is detected with at least one image capture device of the vehicle while the vehicle is at a first position. Then, the vehicle is moved from the first position to a second position, the second position
  • Image information of the environment with the at least one image capture device detected is created.
  • an image of a surrounding area of the surroundings of the vehicle is created.
  • the image comprises at least a portion of the first image information and a portion of the second image information.
  • the image of the surrounding area is finally displayed on a display device of the
  • Vehicle presented to a user By moving the vehicle from the first position to the second position, the surroundings of the vehicle with the at least one image capture device can be detected from different viewpoints.
  • an image of an environmental region of the environment may be created that has a larger image
  • Imaging area than the at least one image capture device can deliver at a time or at a position.
  • image capture devices such as cameras
  • image capture devices can be saved and still provide environmental information that goes beyond the actual capture range of the image capture devices at one location.
  • the image of the surrounding area of the surroundings of the vehicle is additionally created in response to position information of the first position and position information of the second position.
  • the position information can be determined, for example, from odometry data of the vehicle.
  • Surrounding area further determined moving and static objects in the first image information and the second image information as position marks.
  • the image of the surrounding area of the environment of the vehicle is created depending on the moving and static objects.
  • Static objects can be used, for example, the first one
  • the moving objects can, for example, be displayed in the image of the surrounding area only on the basis of the image information of the last acquired image, so that moving objects in the image are displayed at the most current possible position.
  • an optional warning can be issued to the driver that moving objects are present and he should therefore control the route regardless of the mapping of the surrounding area.
  • the at least one image capture device may, for example, a first
  • Image capture device at a front of the vehicle and a second
  • the first Image capture device is configured to capture an image information of an environment in front of the vehicle and laterally in front of the vehicle, ie, the right side in front of the vehicle and the left side in front of the vehicle.
  • the first image capture device may include a camera with a wide angle lens centered in the area of a bumper or grille of the vehicle at the front of the vehicle to detect a corresponding area in front of and laterally in front of the vehicle.
  • the second image capture device is configured to capture image information of an environment behind the vehicle and laterally behind the vehicle, ie laterally to the right and laterally to the left behind the vehicle.
  • a corresponding image capture device may be, for example, a camera which is attached to a rear bumper of the vehicle or a tailgate or a trunk lid of the vehicle.
  • the image information of the two image capture devices is used during movement of the vehicle to create an image of the surrounding area of the vehicle.
  • image information can be used laterally in front of and behind the vehicle during a movement of the vehicle to reconstruct an environment laterally from the vehicle.
  • this reconstructed image information is not up-to-date in time, it can provide the driver with significant orientation when parking.
  • the image information in front of and behind the vehicle can always be incorporated into the image of the environment that is displayed to the driver, so that the environment in the direction of movement of the vehicle when parking or parking is always up to date and the driver thus also current changes due to a change in position of the vehicle or moving objects in the environment can recognize directly in the image. Since the lateral areas of the surroundings of the vehicle are reconstructed from the image information laterally in front of and behind the vehicle, corresponding image capture devices on the side of the vehicle can be omitted, whereby costs can be considerably saved.
  • the image of the surrounding area is displayed on the display device by determining an image of the surrounding area in a plan view from above, a so-called bird's-eye view. This can be done for example by suitable transformations of the image information from the image capture devices. Further, as described above, in determining the image of the
  • the so-called top view of the surrounding area is combined with a predetermined image of the vehicle, which also shows the vehicle in a top view, thus creating a plan view or bird's-eye view which shows the vehicle in it
  • This combined top view of the surrounding area and the vehicle becomes finally shown on the display device. From this top view of the vehicle including the surrounding area, a driver can obstruct the surroundings
  • Vehicle easily recognize and park the vehicle, for example, in a parking space in a simple manner, since both surrounding obstacles, such as vehicles, bollards or people, as well as road boundaries or curbs with respect to the vehicle can be seen from the illustration.
  • a surrounding area for which hitherto no image information has been detected, is determined, and this surrounding area is displayed on the display device with a predetermined marking. For example, the
  • Image information to the common image of the environment of the vehicle can be iteratively repeated during a movement of the vehicle.
  • further image information of the surroundings at a further position of the vehicle with the at least one image capture device can be detected and a further image of the surrounding area can be created as a function of the already created image and the further image information.
  • the further image comprises at least part of the already created image and a portion of the further image information.
  • Surrounding area can be extended with continuously acquired further image information.
  • the currently detected and incorporated image information can be marked, for example, this current
  • Image information may be marked with a corresponding frame or displayed brighter than parts of the image based on image information of past vehicle positions. This allows a driver of the vehicle to have an all-round view, for example in the form of a plan view, in which the driver intuitively recognizes which portions are actually up-to-date, ie represent live images, and which portions are reconstructed and thus not necessarily current with respect to dynamic objects are.
  • a display system for a vehicle having at least one vehicle mounted on the vehicle
  • An image capture device, a display device mounted in the vehicle and a processing device comprises.
  • the image capture device is capable of a
  • the processing device is coupled to the at least one image capture device and the display device and configured to provide first image information of the environment with the at least one image
  • Capture image capture device at a first position of the vehicle and after a movement of the vehicle from the first position to a second position, a second
  • the processing device creates an image of a
  • the image Surrounding area of the environment of the vehicle.
  • the image comprises at least a portion of the first image information and a portion of the second image information.
  • the creation of the image that is to say the combining of the first image information and the second image information is also referred to as "stitching.”
  • the processing device can combine further image information acquired with the at least one image capture device at further positions with the image and thus the image
  • the image of the surrounding area is finally displayed by the processing device on the display device 12.
  • the display system is thus suitable for carrying out the method described above and therefore also comprises the advantages of the method described above and its
  • a vehicle which comprises the above-described display system.
  • the display device may be arranged, for example, on a dashboard of the vehicle in a field of vision of the driver.
  • the image capture devices may include a first image capture device at a front of the vehicle and a second image capture device at a rear of the vehicle, such that the first image capture device may detect an area in front of the vehicle and laterally right and left in front of the vehicle and the second
  • Image capture device can detect a surrounding area behind the vehicle and laterally right and left behind the vehicle.
  • Fig. 1 shows a vehicle according to an embodiment of the present invention.
  • Fig. 2 shows process steps of a method according to an embodiment of the present invention.
  • FIGS. 3-5 schematically show a vehicle moving backward in accordance with an embodiment of the present invention.
  • Figures 6-8 show outputs of a display device of a display system according to an embodiment of the present invention.
  • the display system 1 1 shows schematically a vehicle 10 with a display system 11.
  • the display system 1 1 includes a first image sensing device 13 disposed in a front portion of the vehicle 10 and a second image sensing device 12 disposed in a rear portion of the vehicle 10.
  • the display system 1 1 further comprises a display device 14, which is arranged for example in a dashboard or a center console of the vehicle 10 in a field of view of the driver.
  • the display system 1 1 comprises a processing device 15, which with the
  • Image capture devices 12, 13 and the display device 14 is coupled.
  • Image capture devices 12, 13 may, for example, comprise digital cameras which, with the aid of a suitable optical system, can capture images of the surroundings of the vehicle and transmit them to the processing device 15.
  • the first image-capturing device 13 may have a detection region 17, which comprises an environmental region in front of the vehicle and laterally right and left in front of the vehicle, as shown in FIG.
  • the second image capturing device 12 may include a
  • the image capturing areas 16, 17 may, for example, extend laterally and fore and aft 1 to 5 m beyond the vehicle 10.
  • the display device 14 may comprise, for example, a screen, in particular an LCD screen or a plasma screen, which is suitable for displaying colored images.
  • the processing device 15 may comprise, for example, a microprocessor device or a digital signal processor.
  • FIG. 2 shows a method 20 with method steps 21 - 25, which are derived from the
  • FIGS. 6-8 show outputs on the display device 14 of the display system 11 to the various positions of the vehicle 10, ie, FIG. 6 shows the output on the display device 14 when the vehicle 10 is in the position shown in FIG FIG. 7 shows the output on the display device 14 of the vehicle 10 in the position of FIG. 4, and FIG. 8 shows the output on the display device 14 to the position of the vehicle 10 of FIG. 5.
  • FIG. 3 shows the vehicle 10 in an environment 30 that includes a lane marker 31 and various items 32-35.
  • the vehicle 10 has reached the position shown in FIG. 3 by moving it backwards from a position (not shown) along the
  • Detection area 16 which is associated with the second image capture device 12, the object 32 detected in passing.
  • image information is acquired in step 21, in step 22 the vehicle is moved and in step 23 further image information is acquired.
  • An image of an environment is prepared by combining the image information in step 24 and displayed on the display device 14 of the vehicle 10 in step 25.
  • the process proceeds to step 22 and the vehicle continues to move while in step 23 further image information is acquired, which is expanded in step 24 to create or enhance the image of the environment by combining the image information.
  • Fig. 6 shows a corresponding representation on the display device 14.
  • the environment including the vehicle is shown in a plan view.
  • the generated image of the environment is combined with a predetermined image of the vehicle 10.
  • the illustration on the display device 14 the
  • Detection areas 16 and 17 of the image capture devices 12 and 13 shown so that a user can immediately recognize which imaging areas represent a live image and which imaging areas consist of reconstructed image information.
  • the object 32 shown in FIG. 6 is located outside the detection areas 16 and 17 and therefore represents a reconstructed image information.
  • the portion of the lane marking 31 which is located in the detection area 16, on the other hand, is part of the live information from the second image capture device 12 ,
  • the vehicle 10 continues to move along the trajectory 36 until it reaches the position shown in FIG. Fig. 7 shows the output on the display device 14 to this Time.
  • the road marking 31 is again displayed in the detection area 16 as live information.
  • the object 32 is no longer located in the region of the rear left door of the vehicle 10, as in FIG. 6, but in the area of the left rearview mirror. The displacement of the object 32 in the illustration shown in FIG.
  • Display device 14 may perform the processing device 15, for example, based on odometry data of the vehicle.
  • the odometry data may be based, for example, on a vehicle speedometer signal and a vehicle steering angle signal or on signals from a global navigation satellite system, such as GPS or Galileo.
  • Fig. 5 shows the vehicle 10, after it even further along the vehicle.
  • FIG. 8 shows a corresponding output on the
  • Detection area 16 of the second image capture device 12 shown.
  • the road marking 31 may also be partially made up of live information from the image acquisition devices 12, 13 as well as from previously acquired
  • Image information is reconstructed as environmental information displayed on the display device 14.
  • the front and rear image capture devices capture the environment and calculate, for example, a top view therefrom.
  • these areas may initially appear in the illustration be grayed out. As soon as the vehicle moves, the already captured image components are shifted by means of an optical environment map in such a way that the areas that have not yet been detected (eg gray) are filled.
  • the processing device 15 may also detect static and moving objects, on the one hand to issue warnings to the driver and, moreover, to avoid artifacts when combining the image information.
  • the image information itself can also be used to determine the movement of the vehicle.
  • Moving and static objects can be detected. From the motion compensation, the camera movements can be determined and thus successive images can be combined. Such combining is also referred to as "stitching.” In combining the successive images, the detection of the moving and static objects may be used to appropriately mask or record these objects
  • Bird's eye view or top view are output in combination with an image of the vehicle from above on the display device 14. Further, warnings may be issued to the driver based on the detection of moving objects.

Abstract

Die vorliegende Erfindung betrifft ein Verfahren (20) zum Anzeigen von Umgebungsinformationen eines Fahrzeugs. Bei dem Verfahren wird eine erste Bildinformation einer Umgebung (30) des Fahrzeugs (10) mit mindestens einer Bilderfassungsvorrichtung (12, 3) des Fahrzeugs (10) an einer ersten Position des Fahrzeugs (10) erfasst. Nach einer Bewegung des Fahrzeugs (10) von der ersten Position zu einer zweiten Position wird eine zweite Bildinformation der Umgebung (30) mit der mindestens einen Bilderfassungsvorrichtung (12, 13) an der zweiten Position des Fahrzeugs (10) erfasst. In Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation wird ein Abbild eines Umgebungsbereichs der Umgebung (30) des Fahrzeugs (10) erstellt, wobei das Abbild zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation umfasst. Das Abbild des Umgebungsbereichs wird auf einer Anzeigevorrichtung (14) des Fahrzeugs (10) dargestellt.

Description

Beschreibung
Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug
Die vorliegende Erfindung betrifft ein Verfahren zum Anzeigen von Umgebungsinformationen eines Fahrzeugs auf einer Anzeigevorrichtung des Fahrzeugs, insbesondere in einer Draufsicht von oben, welche das Fahrzeug in der Umgebung darstellt. Die vorliegende Erfindung betrifft weiterhin ein entsprechendes Anzeigesystem für ein Fahrzeug.
Um einen Fahrer eines Fahrzeugs, wie zum Beispiel eines Personenkraftwagens oder eines Lastkraftwagens, beim Einparken des Fahrzeugs zu unterstützen, werden Anzeigesysteme in den Fahrzeugen verbaut, welche eine Abbildung einer Umgebung des Fahrzeugs auf einer Anzeigevorrichtung in dem Fahrzeug darstellen. Besonders vorteilhaft sind dabei sogenannte Area-View-Systeme, welche mit Hilfe mehrerer Kameras und einer Bildverarbeitungseinheit eine Draufsicht oder Vogelperspektivansicht des Fahrzeugs von oben mit der umliegenden Umgebung darstellen. Derartige Systeme sind sehr hilfreich für den Fahrer, sind jedoch bedingt durch das verteilte Kamerasystem verhältnismäßig aufwendig und kostenintensiv. Ein derartiges System mit beispielsweise vier Kameras, welche an einer Vorderseite des
Fahrzeugs, an einer Rückseite des Fahrzeugs sowie an den Seitenspiegeln des Fahrzeugs angebracht sind, ist aus der EP 1 701 306 B1 bekannt. Das System umfasst eine
Anzeigevorrichtung, die in einem Fahrzeug vorgesehen ist, und eine Mehrzahl von
Bilderfassungsvorrichtungen, die im Hinblick auf die horizontale Ebene auf den vorderen, hinteren, rechten und linken Bereichen des Fahrzeugs in jeweiligen Neigungswinkeln angebracht sind. Die Bilderfassungsvorrichtungen nehmen Bilder um das Fahrzeug herum auf. Eine Rundumvogelperspektivbild-Erzeugungseinrichtung erzeugt ein erstes
Rundumvogelperspektivbild, wenn das Fahrzeug vorwärts gefahren wird, und ein zweites Rundumvogelperspektivbild, wenn das Fahrzeug rückwärts gefahren wird.
Weiterhin ist aus der DE 10 2010 013 093 A1 ein Verfahren zur Erstellung eines Modells eines Umfelds eines Fahrzeugs bekannt. Dabei wird mit Hilfe einer Kamera das Umfeld in
Fahrtrichtung des Fahrzeugs erfasst und mehrere Bilder des Umfelds werden erzeugt. Mittels dieser Bilder werden dreidimensionale Strukturen und deren Position in dem Umfeld erfasst, indem eine Bewegung dieser Strukturen innerhalb einer aus den mehreren Bilder bestehenden Bildsequenz verfolgt wird. Informationen über Strukturen werden in eine zweidimensionale zellenbasierte Karte des Umfelds übertragen. Jeder Zelle der Karte wird eine Information zugewiesen, ob diese Zelle mit einem durch die Strukturen repräsentierten Objekt belegt ist. Die DE 101 149 32 B4 betrifft eine dreidimensionale Umfelderfassung, insbesondere zur Detektion von Parklücken. Ein Entfernungssensor erzeugt eine Abfolge von zweidimensionalen Entfernungsprofilen. Aus einer Aneinanderreihung einer aufeinander folgenden Menge von Entfernungsprofilen wird ein dreidimensionales Abbild der Umgebung erzeugt und ein zurückgelegter Weg des Straßenfahrzeugs zwischen den einzelnen erzeugten
Entfernungsprofilen bestimmt.
Die DE 10 2009 019 024 A1 betrifft ein Verfahren zur Vermeidung von Kollisionen beim Öffnen von Fahrzeugtüren eines Fahrzeugs. Dabei werden Objekte in einem Umfeld des Fahrzeugs erfasst und ein Kollisionsgefahr anzeigendes Reaktionssignal erzeugt, wenn beim Öffnen zumindest einer Fahrzeugtür eine Kollisionsgefahr mit zumindest einem der erfassten Objekte besteht. Eine Umfeldsensorik erfasst die Objekte während einer Vorbeifahrt des Fahrzeugs und bestimmt deren Positionen und Abmessungen.
Die DE 69 515 087 T2 betrifft ein visuelles Abbildungssystem zur elektronischen Abbildung und Bearbeitung eines halbkugelförmigen Sichtfeldes. Eine Kamera empfängt optische Bilder eines halbkugelförmigen Sichtfeldes und erzeugt Ausgangssignale, die den optischen Bildern entsprechen. Ein Bild von Randbereichen des halbkugelförmigen Sichtfeldes wird erfasst und verbessert und ein Teil des Sichtfeldes in einem Bereich von ungefähr 1 bis 45° oberhalb des Horizonts des erfassten Bildes eines halbkugelförmigen Sichtfeldes wird vergrößert.
Die EP 1 403 137 B1 betrifft eine Zustandsüberwachungsvorrichtung eines beweglichen Körpers. Eine Umgebungsinformationserfassungseinrichtung erfasst und speichert
Informationen über eine Umgebung, die einen beweglichen Körper umgibt. Eine
Wegabschätzeinrichtung schätzt einen Bewegungsweg des beweglichen Körpers ab. Eine Distanzbestimmungseinrichtung identifiziert einen Gegenstand, welcher entlang des abgeschätzten Bewegungsweges des beweglichen Körpers auftritt, und bestimmt die kürzeste Distanz entlang des abgeschätzten Bewegungsweges des beweglichen Körpers zwischen einem Abschnitt des beweglichen Körpers und einem Abschnitt des Gegenstands, die einander berühren, wenn sich der bewegliche Körper entlang des abgeschätzten Bewegungswegs des beweglichen Körpers bewegt. Eine Hinweiseinrichtung weist auf eine Positionsbeziehung zwischen dem beweglichen Körper und dem Gegenstand basierend auf dem durch die
Distanzbestimmungseinrichtung erfassten Ergebnis hin.
Die EP 1 403 138 A1 betrifft eine Umgebungsüberwachungsvorrichtung für einen beweglichen Körper. Ein Bilderfassungsmittel, welches an dem beweglichen Körper angebracht ist, erfasst ein Bild einer Umgebung des beweglichen Körpers. Ein Umgebungskonstruktionsmittel konstruiert eine dreidimensionale Umgebung der Umgebung des beweglichen Körpers auf der Grundlage des erfassten Bildes und ein Bewertungsmittel bewertet, ob die Umgebung des beweglichen Körpers einen vorgegebenen Zustand erfüllt auf der Grundlage der konstruierten dreidimensionalen Umgebung.
Die DE 10 201 1 109 712 A1 betrifft ein Verfahren zum assistierten Einparken eines
Kraftfahrzeugs in eine Parklücke. Eine Vermessung der potentiellen Parklücke erfolgt während einer Vorbeifahrt des Fahrzeugs. Ausgehend von einer zum Einparken zulässigen
Ausgangsposition wird eine erste Einparktrajektorie für einen Zielpunkt in der Parklücke ermittelt und während sich das Fahrzeug entlang der ersten Einparktrajektorie bewegt, wird mit dem Erfassen eines im Fahrschlauch der ersten Einparktrajektorie angeordneten Hindernisses während des Einparkvorgangs eine zweite Einparktrajektorie unter Berücksichtigung des Hindernisses für die Parklücke bestimmt und der Einparkvorgang entlang der zweiten
Einparktrajektorie fortgesetzt.
Wie aus der oben genannten EP 1 701 306 B1 bekannt ist, ist eine Verwendung von vier oder mehr Kamerasystemen rund um das Fahrzeug geeignet, um die Vogelperspektivansicht bereitstellen zu können. Dies ist jedoch mit erheblichen Kosten verbunden, sodass derartige Systeme bei kostengünstigen Fahrzeugen, wie zum Beispiel Kleinwagen, nur eine geringe Akzeptanz beim Kunden finden.
Aufgabe der vorliegenden Erfindung ist es daher, eine optische Wiedergabe des Umfelds für beispielsweise einen Einparkvorgang kostengünstig zu realisieren.
Diese Aufgabe wird gemäß der vorliegenden Erfindung durch ein Verfahren zum Anzeigen von Umgebungsinformationen nach Anspruch 1 und ein Anzeigesystem für ein Fahrzeug nach Anspruch 9 gelöst. Die abhängigen Ansprüche definieren bevorzugte und vorteilhafte
Ausführungsformen der Erfindung.
Gemäß der vorliegenden Erfindung wird ein Verfahren zum Anzeigen von
Umgebungsinformationen bereitgestellt. Bei dem Verfahren wird eine erste Bildinformation einer Umgebung des Fahrzeugs mit mindestens einer Bilderfassungsvorrichtung des Fahrzeugs erfasst, während sich das Fahrzeug an einer ersten Position befindet. Dann wird das Fahrzeug von der ersten Position zu einer zweiten Position bewegt, wobei die zweite Position
unterschiedlich zu der ersten Position ist. An der zweiten Position wird eine zweite
Bildinformation der Umgebung mit der mindestens einen Bilderfassungsvorrichtung erfasst. In Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation wird ein Abbild eines Umgebungsbereichs der Umgebung des Fahrzeugs erstellt. Das Abbild umfasst zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation. Das Abbild des Umgebungsbereichs wird schließlich auf einer Anzeigevorrichtung des
Fahrzeugs für einen Benutzer dargestellt. Durch das Bewegen des Fahrzeugs von der ersten Position zu der zweiten Position kann die Umgebung des Fahrzeugs mit der mindestens einen Bilderfassungsvorrichtung von verschiedenen Standpunkten aus erfasst werden. Durch
Kombinieren der ersten Bildinformation und der zweiten Bildinformation kann ein Abbild eines Umgebungsbereichs der Umgebung erstellt werden, welches einen größeren
Abbildungsbereich umfasst, als die mindestens eine Bilderfassungsvorrichtung zu einem Zeitpunkt bzw. an einer Position liefern kann. Dadurch kann mit einer geringen Anzahl von Bilderfassungsvorrichtungen bei geeigneter Bewegung des Fahrzeugs ein großer
Umgebungsbereich der Umgebung des Fahrzeugs abgebildet werden, bis hin zu einer kompletten Rundumsicht. Somit können Bilderfassungsvorrichtungen, beispielsweise Kameras, eingespart werden und trotzdem eine Umgebungsinformation bereitgestellt werden, welche über den eigentlichen Erfassungsbereich der Bilderfassungsvorrichtungen an einer Position deutlich hinaus geht.
Gemäß einer Ausführungsform wird das Abbild des Umgebungsbereichs der Umgebung des Fahrzeugs zusätzlich in Abhängigkeit von einer Positionsinformation der ersten Position und einer Positionsinformation der zweiten Position erstellt. Die Positionsinformationen können beispielsweise aus Odometriedaten des Fahrzeugs ermittelt werden. Dadurch können die Bildinformationen zu den unterschiedlichen Positionen des Fahrzeugs auf einfache Art und Weise miteinander kombiniert werden.
Bei einer weiteren Ausführungsform werden beim Erstellen des Abbilds des
Umgebungsbereichs ferner bewegte und statische Objekte in der ersten Bildinformation und der zweiten Bildinformation als Positionsmarken bestimmt. Das Abbild des Umgebungsbereichs der Umgebung des Fahrzeugs wird in Abhängigkeit von den bewegten und statischen Objekten erstellt. Statische Objekte können beispielsweise dazu verwendet werden, die erste
Bildinformation und die zweiten Bildinformation genau zu kombinieren, wodurch beispielsweise auf Odometriedaten verzichtet werden kann. Die bewegten Objekte können beispielsweise in dem Abbild des Umgebungsbereichs nur anhand der Bildinformation des zuletzt erfassten Bildes dargestellt werden, sodass bewegte Objekte in dem Abbild an einer möglichst aktuellen Position dargestellt werden. Darüber hinaus kann optional eine Warnung an den Fahrer ausgegeben werden, dass bewegte Objekte vorhanden sind und er daher den Fahrweg unabhängig von der Abbildung des Umgebungsbereichs kontrollieren sollte.
Die mindestens eine Bilderfassungsvorrichtung kann beispielsweise eine erste
Bilderfassungsvorrichtung an einer Vorderseite des Fahrzeugs und eine zweite
Bilderfassungsvorrichtung an einer Rückseite des Fahrzeugs umfassen. Die erste Bilderfassungsvorrichtung ist ausgestaltet, eine Bildinformation einer Umgebung vor dem Fahrzeug und seitlich vor dem Fahrzeug zu erfassen, d.h., seitlich rechts vor dem Fahrzeug und seitlich links vor dem Fahrzeug. Die erste Bilderfassungsvorrichtung kann beispielsweise eine Kamera mit einem Weitwinkelobjektiv umfassen, welche im Bereich einer Stoßstange oder eines Kühlergrills des Fahrzeugs an der Vorderseite des Fahrzeugs mittig angebracht ist, um einen entsprechenden Bereich vor und seitlich vor dem Fahrzeug zu erfassen. Die zweite Bilderfassungsvorrichtung ist ausgestaltet, eine Bildinformation einer Umgebung hinter dem Fahrzeug und seitlich hinter dem Fahrzeug, d.h., seitlich rechts und seitlich links hinter dem Fahrzeug, zu erfassen. Eine entsprechende Bilderfassungsvorrichtung kann beispielsweise eine Kamera sein, welche an einer hinteren Stoßstange des Fahrzeugs oder einer Heckklappe oder einem Kofferraumdeckel des Fahrzeugs angebracht ist. Wie zuvor beschrieben werden die Bildinformationen der beiden Bilderfassungsvorrichtungen während einer Bewegung des Fahrzeugs verwendet, um ein Abbild des Umgebungsbereichs des Fahrzeugs zu erstellen. Dabei können Bildinformationen seitlich vor und hinter dem Fahrzeug während einer Bewegung des Fahrzeugs dazu verwendet werden, eine Umgebung seitlich von dem Fahrzeug zu rekonstruieren. Diese rekonstruierte Bildinformation ist zwar nicht zeitlich aktuell, kann dem Fahrer jedoch beim Einparken eine bedeutende Orientierungshilfe bieten. Die Bildinformationen vor und hinter dem Fahrzeug können stets aktuell in das Abbild der Umgebung, welche dem Fahrer angezeigt wird, eingearbeitet werden, sodass die Umgebung in Bewegungsrichtung des Fahrzeugs beim Ein- oder Ausparken stets aktuell ist und der Fahrer somit auch aktuelle Änderungen aufgrund einer Positionsänderung des Fahrzeugs oder bewegliche Objekte in der Umgebung unmittelbar in dem Abbild erkennen kann. Da die seitlichen Bereiche der Umgebung des Fahrzeugs aus den Bildinformationen seitlich vor und hinter dem Fahrzeug rekonstruiert werden, können entsprechende Bilderfassungsvorrichtungen an der Seite des Fahrzeugs entfallen, wodurch Kosten erheblich eingespart werden können.
Gemäß einer weiteren Ausführungsform wird das Abbild des Umgebungsbereichs auf der Anzeigevorrichtung dargestellt, indem ein Abbild des Umgebungsbereichs in einer Draufsicht von oben, einer sogenannten Vogelperspektive, bestimmt wird. Dies kann beispielsweise durch geeignete Transformationen der Bildinformationen von den Bilderfassungsvorrichtungen erfolgen. Ferner können, wie zuvor beschrieben, beim Bestimmen des Bilds des
Umgebungsbereichs Bildinformationen, welche bei vorhergehenden Fahrzeugpositionen erfasst wurden, eingebracht werden. Ein derartiges Kombinieren von Bildinformationen aus
verschiedenen Betrachtungswinkeln wird auch als„Stitching" bezeichnet. Die so bestimmte Draufsicht des Umgebungsbereichs wird mit einem vorgegebenen Abbild des Fahrzeugs, welche das Fahrzeug ebenfalls in einer Draufsicht von oben zeigt, kombiniert. Somit wird eine Draufsicht oder Vogelperspektivansicht erzeugt, welche das Fahrzeug in seiner Umgebung von oben zeigt. Diese kombinierte Draufsicht des Umgebungsbereichs und des Fahrzeugs wird schließlich auf der Anzeigevorrichtung dargestellt. Aus dieser Draufsicht des Fahrzeugs einschließlich Umgebungsbereich kann ein Fahrer Hindernisse in der Umgebung des
Fahrzeugs leicht erkennen und das Fahrzeug beispielsweise in eine Parklücke auf einfacher Art und Weise einparken, da sowohl umgebende Hindernisse, wie zum Beispiel Fahrzeuge, Poller oder Personen, als auch Fahrbahnbegrenzungen oder Randsteine in Bezug auf das Fahrzeug aus der Darstellung ersichtlich sind.
Bei einer weiteren Ausführungsform wird ein Umgebungsbereich, für welchen bislang keine Bildinformation erfasst wurde, bestimmt und dieser Umgebungsbereich mit einer vorgegebenen Markierung auf der Anzeigevorrichtung dargestellt. Beispielsweise kann der
Umgebungsbereich, für welchen noch keine Bildinformation erfasst wurde, in einer
vorgegebenen Farbe, beispielsweise grau, dargestellt werden, sodass ein Fahrer, welcher die Abbildung betrachtet, intuitiv erkennt, dass für diesen Bereich derzeit keine Bildinformation vorliegt und er gegebenenfalls diesen Bereich anderweitig kontrollieren muss, um sicher zu sein, ob sich dort ein Hindernis befindet oder nicht.
Das zuvor beschriebene Verfahren, bei dem die erste Bildinformation und die zweite
Bildinformation zu dem gemeinsamen Abbild der Umgebung des Fahrzeugs zusammengesetzt werden, kann iterativ bei einer Bewegung des Fahrzeugs wiederholt werden. Anders ausgedrückt kann beispielsweise eine weitere Bildinformation der Umgebung an einer weiteren Position des Fahrzeugs mit der mindestens einen Bilderfassungsvorrichtung erfasst werden und ein weiteres Abbild des Umgebungsbereichs in Abhängigkeit von dem bereits erstellten Abbild und der weiteren Bildinformation erstellt werden. Das weitere Abbild umfasst zumindest einen Teil des bereits erstellten Abbilds und einen Anteil der weiteren Bildinformation. Somit kann beispielsweise während einer Bewegung des Fahrzeugs kontinuierlich das Abbild des
Umgebungsbereichs mit kontinuierlich erfassten weiteren Bildinformationen erweitert werden.
Für eine aktuelle Position des Fahrzeugs kann in dem Abbild die aktuell erfasste und eingearbeitete Bildinformation markiert werden, beispielsweise kann diese aktuelle
Bildinformation mit einem entsprechenden Rahmen markiert werden oder heller dargestellt werden als Teile des Abbilds, welche auf Bildinformationen vergangener Fahrzeugpositionen basieren. Dadurch kann einem Fahrer des Fahrzeugs eine Rundumsicht, beispielsweise in Form einer Draufsicht, dargestellt werden, in welcher der Fahrer intuitiv erkennt, welche Anteile tatsächlich aktuell sind, also Live-Bilder darstellen, und welche Anteile rekonstruiert sind und somit bezüglich dynamischer Objekte nicht unbedingt aktuell sind.
Gemäß der vorliegenden Erfindung wird weiterhin ein Anzeigesystem für ein Fahrzeug bereitgestellt, welches mindestens eine an dem Fahrzeug angebrachte Bilderfassungsvorrichtung, eine in dem Fahrzeug angebrachte Anzeigevorrichtung und eine Verarbeitungsvorrichtung umfasst. Die Bilderfassungsvorrichtung ist in der Lage, eine
Bildinformation einer Umgebung des Fahrzeugs zu erfassen. Die Verarbeitungsvorrichtung ist mit der mindestens einen Bilderfassungsvorrichtung und der Anzeigevorrichtung gekoppelt und ausgestaltet, eine erste Bildinformation der Umgebung mit der mindestens einen
Bilderfassungsvorrichtung an einer ersten Position des Fahrzeugs zu erfassen und nach einer Bewegung des Fahrzeugs von der ersten Position zu einer zweiten Position eine zweite
Bildinformation der Umgebung mit der mindestens einen Bilderfassungsvorrichtung an der zweiten Position des Fahrzeugs zu erfassen. In Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation erstellt die Verarbeitungsvorrichtung ein Abbild eines
Umgebungsbereichs der Umgebung des Fahrzeugs. Das Abbild umfasst zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation. Das Erstellen des Abbilds, d.h., das Kombinieren der ersten Bildinformation und der zweiten Bildinformation wird auch als„Stitching" bezeichnet. Die Verarbeitungsvorrichtung kann weitere Bildinformationen, welche mit der mindestens einen Bilderfassungsvorrichtung an weiteren Positionen erfasst werden, mit dem Abbild kombinieren und somit das Abbild des Umgebungsbereichs während einer Bewegung des Fahrzeugs kontinuierlich erweitern. Das Abbild des Umgebungsbereichs wird schließlich von der Verarbeitungsvorrichtung auf der Anzeigevorrichtung dargestellt. Das Anzeigesystem ist somit zur Durchführung des zuvor beschriebenen Verfahrens geeignet und umfasst daher auch die Vorteile des zuvor beschriebenen Verfahrens und seiner
Ausführungsformen.
Schließlich wird gemäß der vorliegenden Erfindung ein Fahrzeug bereitgestellt, welches das zuvor beschriebene Anzeigesystem umfasst. Die Anzeigevorrichtung kann beispielsweise an einem Armaturenbrett des Fahrzeugs in einem Sichtbereich des Fahrers angeordnet sein. Die Bilderfassungsvorrichtungen können insbesondere eine erste Bilderfassungsvorrichtung an einer Vorderseite des Fahrzeugs und eine zweite Bilderfassungsvorrichtung an einer Rückseite des Fahrzeugs umfassen, sodass die erste Bilderfassungsvorrichtung einen Bereich vor dem Fahrzeug und seitlich rechts und links vor dem Fahrzeug erfassen kann und die zweite
Bilderfassungsvorrichtung einen Umgebungsbereich hinter dem Fahrzeug und seitlich rechts und links hinter dem Fahrzeug erfassen kann.
Die vorliegende Erfindung wird nachfolgend unter Bezugnahme auf die beigefügte Zeichnung im Detail beschrieben werden.
Fig. 1 zeigt ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung. Fig. 2 zeigt Verfahrensschritte eines Verfahrens gemäß einer Ausführungsform der vorliegenden Erfindung.
Figuren 3-5 zeigen schematisch ein Fahrzeug gemäß einer Ausführungsform der vorliegenden Erfindung, welches sich rückwärts bewegt.
Figuren 6-8 zeigen Ausgaben einer Anzeigevorrichtung eines Anzeigesystems gemäß einer Ausführungsform der vorliegenden Erfindung.
Fig. 1 zeigt schematisch ein Fahrzeug 10 mit einem Anzeigesystem 1 1 . Das Anzeigesystem 1 1 umfasst eine erste Bilderfassungsvorrichtung 13, welche in einem vorderen Bereich des Fahrzeugs 10 angeordnet ist, und eine zweite Bilderfassungsvorrichtung 12, welche in einem hinteren Bereich des Fahrzeugs 10 angeordnet ist. Das Anzeigesystem 1 1 umfasst ferner eine Anzeigevorrichtung 14, welche beispielsweise in einem Armaturenbrett oder einer Mittelkonsole des Fahrzeugs 10 in einem Sichtbereich des Fahrers angeordnet ist. Ferner umfasst das Anzeigesystem 1 1 eine Verarbeitungsvorrichtung 15, welche mit den
Bilderfassungsvorrichtungen 12, 13 und der Anzeigevorrichtung 14 gekoppelt ist. Die
Bilderfassungsvorrichtungen 12, 13 können beispielsweise Digitalkameras umfassen, welche mit Hilfe eines geeigneten optischen Systems Bilder von der Umgebung des Fahrzeugs erfassen können und zu der Verarbeitungsvorrichtung 15 übertragen können. Die erste Bilderfassungsvorrichtung 13 kann dabei einen Erfassungsbereich 17 aufweisen, welcher einen Umgebungsbereich vor dem Fahrzeug und seitlich rechts und links vor dem Fahrzeug umfasst, wie es in Fig. 1 dargestellt ist. Die zweite Bilderfassungsvorrichtung 12 kann einen
Erfassungsbereich 16 aufweisen, welcher sich, wie in Fig. 1 gezeigt, hinter dem Fahrzeug und seitlich rechts und links hinter dem Fahrzeug erstreckt. Die Bilderfassungsbereiche 16, 17 können sich beispielsweise seitlich und nach vorne und hinten 1 bis 5 m über das Fahrzeug 10 hinaus erstrecken. Die Anzeigevorrichtung 14 kann beispielsweise einen Bildschirm, insbesondere einen LCD-Bildschirm oder einen Plasmabildschirm umfassen, welcher zur Darstellung farbiger Bilder geeignet ist. Die Verarbeitungsvorrichtung 15 kann beispielsweise eine Mikroprozessorvorrichtung oder einen digitalen Signalprozessor umfassen.
Die Arbeitsweise des Anzeigesystems 1 1 wird nachfolgend unter Bezugnahme auf die Figuren 3-8 im Detail beschrieben werden.
Fig. 2 zeigt ein Verfahren 20 mit Verfahrensschritten 21 -25, welche von der
Verarbeitungsvorrichtung 15 ausgeführt werden. Fig. 3-5 zeigen das Fahrzeug 10, welches sich entlang einer Bewegungsbahn oder -trajektorie 36 bewegt, wobei es sich in Fig. 3 in einer ersten Position befindet, in Fig. 4 in einer nachfolgenden zweiten Position und in Fig. 5 in einer nachfolgenden dritten Position. Die Figuren 6-8 zeigen Ausgaben auf der Anzeigevorrichtung 14 des Anzeigesystems 1 1 zu den verschiedenen Positionen des Fahrzeugs 10, d.h., Fig. 6 zeigt die Ausgabe auf der Anzeigevorrichtung 14, wenn sich das Fahrzeug 10 in der in Fig. 3 gezeigten Position befindet, Fig. 7 zeigt die Ausgabe auf der Anzeigevorrichtung 14 des Fahrzeugs 10 in der Position der Fig. 4 und Fig. 8 zeigt die Ausgabe auf der Anzeigevorrichtung 14 zu der Position des Fahrzeugs 10 der Fig. 5.
Fig. 3 zeigt das Fahrzeug 10 in einer Umgebung 30, welche eine Fahrbahnmarkierung 31 und verschiedene Gegenstände 32-35 umfasst. Das Fahrzeug 10 hat die in Fig. 3 gezeigte Position erreicht, indem es zuvor aus einer (nicht gezeigten) Position rückwärts entlang dem
gestrichelten Anteil der Bewegungsbahn 36 gefahren ist. Dabei hat der hintere
Erfassungsbereich 16, welcher der zweiten Bilderfassungsvorrichtung 12 zugeordnet ist, den Gegenstand 32 im Vorbeifahren erfasst.
Gemäß dem in Fig. 2 gezeigten Verfahren 20 werden Bildinformationen im Schritt 21 erfasst, im Schritt 22 das Fahrzeug bewegt und im Schritt 23 wird eine weitere Bildinformation erfasst. Ein Abbild einer Umgebung wird durch Kombinieren der Bildinformationen im Schritt 24 erstellt und im Schritt 25 auf der Anzeigevorrichtung 14 des Fahrzeugs 10 dargestellt. Dann wird das Verfahren im Schritt 22 fortgesetzt und das Fahrzeug bewegt sich weiter während im Schritt 23 weitere Bildinformationen erfasst werden, welche im Schritt 24 zum Erstellen bzw. Erweitern des Abbilds der Umgebung durch Kombinieren der Bildinformationen erweitert wird. Während das Fahrzeug 10 entlang der gestrichelten Bewegungsbahn 36 an dem Gegenstand 32 vorgefahren ist, wurden somit Bildinformationen erfasst, welche den Gegenstand 32 umfassen. Diese Bildinformationen werden kombiniert und ein entsprechendes Abbild der Umgebung erzeugt. Fig. 6 zeigt eine entsprechende Darstellung auf der Anzeigevorrichtung 14. In Fig. 6 wird die Umgebung einschließlich des Fahrzeugs in einer Draufsicht dargestellt. Dazu wird die erzeugte Abbildung der Umgebung mit einer vorgegebenen Abbildung des Fahrzeugs 10 kombiniert. Ferner werden in der Darstellung auf der Anzeigevorrichtung 14 die
Erfassungsbereiche 16 und 17 der Bilderfassungsvorrichtungen 12 und 13 dargestellt, sodass ein Benutzer unmittelbar erkennen kann, welche Abbildungsbereiche ein Live-Bild darstellen und welche Abbildungsbereiche aus rekonstruierten Bildinformationen bestehen. Der in Fig. 6 gezeigte Gegenstand 32 befindet sich außerhalb der Erfassungsbereiche 16 und 17 und stellt daher eine rekonstruierte Bildinformation dar. Der Abschnitt der Fahrbahnmarkierung 31 , welcher sich in dem Erfassungsbereich 16 befindet, ist hingegen Teil der Live-Information von der zweiten Bilderfassungsvorrichtung 12.
Das Fahrzeug 10 bewegt sich weiter entlang der Bewegungsbahn 36 bis es die in Fig. 4 gezeigte Position erreicht. Fig. 7 zeigt die Ausgabe auf der Anzeigevorrichtung 14 zu diesem Zeitpunkt. Die Fahrbahnmarkierung 31 wird wiederum im Erfassungsbereich 16 als Liveinformation dargestellt. Der Gegenstand 32 befindet sich nun nicht mehr wie in Fig. 6 im Bereich der hinteren linken Tür des Fahrzeugs 10 sondern im Bereich des linken Rückspiegels. Die Verschiebung des Gegenstands 32 in der in Fig. 7 gezeigten Darstellung auf der
Anzeigevorrichtung 14 kann die Verarbeitungsvorrichtung 15 beispielsweise anhand von Odometriedaten des Fahrzeugs durchführen. Die Odometriedaten können beispielsweise auf einem Tachosignal des Fahrzeugs und einem Lenkwinkelsignal des Fahrzeugs oder auf Signalen eines globalen Satellitennavigationssystems, wie zum Beispiel GPS oder Galileo, beruhen. Fig. 5 zeigt das Fahrzeug 10, nachdem es sich noch weiter entlang der
Bewegungsbahn 36 bewegt hat. Fig. 8 zeigt eine entsprechende Ausgabe auf der
Ausgabevorrichtung 14. Der Gegenstand 32 wird nun teilweise von dem Erfassungsbereich 17 der ersten Bilderfassungsvorrichtung 13 erfasst und dementsprechend teilweise innerhalb und teilweise außerhalb des Erfassungsbereichs 17 auf der Anzeigevorrichtung 14 dargestellt. Die Gegenstände 33 und 34 sind ebenso wie die Fahrbahnmarkierung 31 teilweise in dem
Erfassungsbereich 16 der zweiten Bilderfassungsvorrichtung 12 dargestellt. Der aktuell nicht erfasste Teil des Gegenstands 34, welcher sich außerhalb des Erfassungsbereichs 16 befindet, wurde während der Bewegung des Fahrzeugs 10 zuvor erfasst und kann daher in der
Umgebungsdarstellung, welche kontinuierlich von der Verarbeitungsvorrichtung 15 aufgebaut wurde, rekonstruiert dargestellt werden. Auch die Fahrbahnmarkierung 31 kann teilweise aus Live-Informationen der Bilderfassungsvorrichtungen 12, 13 sowie aus zuvor erfassten
Bildinformationen rekonstruiert als Umgebungsinformation auf der Anzeigevorrichtung 14 dargestellt werden.
Obwohl es in den Figuren 6-8 nicht dargestellt ist, können diejenigen Bereiche in der
Umgebung des Fahrzeugs 10, für welche noch keine Bildinformation vorliegt, mit einer speziellen Markierung, beispielsweise einer grauen oder schwarzen Einfärbung, gesondert dargestellt werden, um einem Fahrer des Fahrzeugs intuitiv zu vermitteln, dass für diesen Bereich noch keine Informationen vorliegen und der Fahrer daher den Fahrweg in diesen Bereichen ggf. anderweitig zu kontrollieren hat.
Mit dem zuvor beschriebenen Anzeigesystem und dem zuvor beschriebenen Verfahren sind daher keine Kameras an der Seite des Fahrzeugs 10, beispielsweise an den Seitenspiegeln des Fahrzeugs 10, erforderlich, da Bilder, welche für die seitlichen Bereiches des Fahrzeugs benötigt werden, aus den vorderen und hinteren Bilderfassungsvorrichtungen in Kombination mit der Odometrie berechnet werden. Zusammenfassend nehmen die vorderen und hinteren Bilderfassungsvorrichtungen die Umgebung auf und berechnen aus dieser beispielsweise eine Draufsichtdarstellung. Da jedoch keine Bilderfassungsvorrichtungen zu Beobachtung der seitlichen Bereiche zur Verfügung stehen, können diese Bereiche in der Darstellung zunächst ausgegraut werden. Sobald sich das Fahrzeug bewegt, werden die bereits erfassten Bildanteile mittels einer optischen Umfeldkarte derart verschoben, dass die noch nicht erfassten (z.B. grauen) Bereiche gefüllt werden. Bei einer Vorwärtsfahrt werden diese Informationen für die seitlichen Bereiche von der vorderen Bilderfassungsvorrichtung 13 bereitgestellt und bei einer Rückwärtsfahrt von der hinteren Bilderfassungsvorrichtung 12. Wenn sich das Fahrzeug 10 um eine komplette Fahrzeuglänge bewegt hat, sind auch die seitlichen Bereiche vollständig erfasst und können auf der Anzeigevorrichtung 14 vollständig dargestellt werden. Indem nur beispielsweise zwei Bilderfassungsvorrichtungen (vorne und hinten) benötigt werden, kann eine deutliche Kostenreduktion gegenüber vier Bilderfassungsvorrichtungen (vorne, hinten, rechts und links) erzielt werden. Die Verarbeitungsvorrichtung 15 kann ferner statische und bewegliche Objekte detektieren, um einerseits Warnungen an den Fahrer auszugeben und darüber hinaus Artefakte beim Kombinieren der Bildinformationen zu vermeiden. Statt der Verwendung von Odometriedaten des Fahrzeugs, können auch die Bildinformationen selbst zur Bestimmung der Bewegung des Fahrzeugs herangezogen werden. Somit kann beispielsweise auf der Grundlage der Bilder der Bilderfassungsvorrichtungen 12, 13 einerseits eine hochgenaue
Bewegungskompensation erfolgen und andererseits können bewegte und statische Objekte detektiert werden. Aus der Bewegungskompensation können die Kamerabewegungen bestimmt werden und somit aufeinander folgende Bilder miteinander kombiniert werden. Ein derartiges Kombinieren wird auch als„Stitching" bezeichnet. Beim Kombinieren der aufeinander folgenden Bilder kann die Detektion der bewegten und statischen Objekte zu einer entsprechenden Maskierung oder Eintragung dieser Objekte verwendet werden. Aus den kombinierten aufeinander folgenden Bilder kann eine Ansicht von oben, eine sogenannte
Vogelperspektivansicht oder Top View, berechnet werden und diese in Kombination mit einer Abbildung des Fahrzeugs von oben auf der Anzeigevorrichtung 14 ausgegeben werden. Ferner können auf der Grundlage der Detektion bewegter Objekte Warnungen an den Fahrer ausgegeben werden.
Bezugszeichenliste Fahrzeug
Anzeigesystem
zweite Bilderfassungsvorrichtung
erste Bilderfassungsvorrichtung
Anzeigevorrichtung
Verarbeitungsvorrichtung
, 17 Erfassungsbereich
Verfahren
-25 Schritt
Umgebung
Fahrbahnmarkierung
-35 Gegenstand
Bewegungsbahn

Claims

Patentansprüche
1. Verfahren zum Anzeigen von Umgebungsinformationen, wobei das Verfahren umfasst:
Erfassen einer ersten Bildinformation einer Umgebung (30) des Fahrzeugs (10) mit mindestens einer Bilderfassungsvorrichtung (12, 13) des Fahrzeugs (10) an einer ersten Position des Fahrzeugs (10),
Bewegen des Fahrzeugs (10) von der ersten Position zu einer zweiten Position, welche unterschiedlich zu der ersten Position ist, und
Erfassen einer zweiten Bildinformation der Umgebung (30) mit der mindestens einen Bilderfassungsvorrichtung (12, 13) an der zweiten Position des Fahrzeugs (10), gekennzeichnet durch
Erstellen eines Abbilds eines Umgebungsbereichs der Umgebung (30) des Fahrzeugs (10) in Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation, wobei das Abbild zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation umfasst, und
Darstellen des Abbilds des Umgebungsbereichs auf einer Anzeigevorrichtung (14) des Fahrzeugs (10).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass das Erstellen des Abbilds ein Erstellen des Abbilds des Umgebungsbereichs der Umgebung (30) des Fahrzeugs (10) in Abhängigkeit von einer Positionsinformation der ersten Position und einer
Positionsinformation der zweiten Position umfasst.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass das Erstellen des
Abbilds ferner umfasst:
Bestimmen von bewegten und/oder statischen Objekten (31 -35) in der ersten
Bildinformation und der zweiten Bildinformation, und
Erstellen des Abbilds des Umgebungsbereichs der Umgebung des Fahrzeugs in
Abhängigkeit von den bewegten und/oder statischen Objekten (31 -35).
4. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die mindestens eine Bilderfassungsvorrichtung eine erste Bilderfassungsvorrichtung (13) an einer Vorderseite des Fahrzeugs (10) und eine zweite Bilderfassungsvorrichtung (12) an einer Rückseite des Fahrzeugs (10) umfasst, wobei die erste Bilderfassungsvorrichtung (13) ausgestaltet ist, eine Bildinformation einer Umgebung (17) vor dem Fahrzeug (10) und seitlich vor dem Fahrzeug (10) zu erfassen, und wobei die zweite Bilderfassungsvorrichtung (12) ausgestaltet ist, eine Bildinformation einer Umgebung (16) hinter dem Fahrzeug (10) und seitlich hinter dem Fahrzeug (10) zu erfassen.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Darstellen des Abbilds des Umgebungsbereichs auf der Anzeigevorrichtung (14) umfasst:
Bestimmen eines Abbilds des Umgebungsbereichs in einer Draufsicht von oben,
Kombinieren der Draufsicht des Umgebungsbereichs mit einem vorgegebenem Abbild des Fahrzeugs (10) in einer Draufsicht von oben, und
Darstellen der kombinierten Draufsicht des Umgebungsbereichs und des Fahrzeugs auf der Anzeigevorrichtung (14).
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Darstellen des Abbilds des Umgebungsbereichs auf der Anzeigevorrichtung (14) umfasst:
Bestimmen eines Umgebungsbereichs, für welchen keine Bildinformation erfasst wurde, und
Darstellen einer vorgegeben Markierung in dem Umgebungsbereich, für welchen keine Bildinformation erfasst wurde.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren ferner umfasst:
Erfassen einer weiteren Bildinformation der Umgebung an einer weiteren Position des Fahrzeugs (10) mit der mindestens einen Bilderfassungsvorrichtung (12, 13), und
Erstellen eines weiteren Abbilds des Umgebungsbereichs in Abhängigkeit von dem Abbild und der weiteren Bildinformation, wobei das weitere Abbild zumindest einen Anteil des Abbilds und der weiteren Bildinformation umfasst.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass das Verfahren ferner umfasst: Markieren der weiteren Bildinformation in dem weiteren Abbild solange sich das Fahrzeug (10) an der weiteren Position befindet.
Anzeigesystem für ein Fahrzeug, umfassend:
mindestens eine an dem Fahrzeug (10) angebrachte Bilderfassungsvorrichtung (12, 13), welche ausgestaltet ist, eine Bildinformation einer Umgebung (30) des Fahrzeugs (10) zu erfassen,
eine in dem Fahrzeug (10) angebrachte Anzeigevorrichtung (14), und eine Verarbeitungsvorrichtung (15), welche mit der mindestens einen
Bilderfassungsvorrichtung (12 ,13) und der Anzeigevorrichtung (14) gekoppelt ist und ausgestaltet ist,
- eine erste Bildinformation der Umgebung (30) mit der mindestens einen
Bilderfassungsvorrichtung (12 , 13) an einer ersten Position des Fahrzeugs (10) zu erfassen, und
- nach einer Bewegung des Fahrzeugs (10) von der ersten Position zu einer zweiten Position, welche unterschiedlich zu der ersten Position ist, eine zweite Bildinformation der Umgebung (30) mit der mindestens einen Bilderfassungsvorrichtung (12, 13) an der zweiten Position des Fahrzeugs (10) zu erfassen,
dadurch gekennzeichnet, dass die Verarbeitungsvorrichtung (15) ferner ausgestaltet ist,
- ein Abbild eines Umgebungsbereichs der Umgebung (30) des Fahrzeugs (10) in Abhängigkeit von der ersten Bildinformation und der zweiten Bildinformation zu erstellen, wobei das Abbild zumindest einen Anteil der ersten Bildinformation und einen Anteil der zweiten Bildinformation umfasst, und
- das Abbild des Umgebungsbereichs auf einer Anzeigevorrichtung (14) darzustellen.
10. Anzeigesystem nach Anspruch 9, dadurch gekennzeichnet, dass das Anzeigesystem (1 1 ) zur Durchführung des Verfahrens nach einem der Ansprüche 1 -8 ausgestaltet ist.
PCT/EP2014/062495 2013-06-18 2014-06-16 Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug WO2014202496A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102013010233.2 2013-06-18
DE102013010233.2A DE102013010233B4 (de) 2013-06-18 2013-06-18 Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug

Publications (1)

Publication Number Publication Date
WO2014202496A1 true WO2014202496A1 (de) 2014-12-24

Family

ID=51136427

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2014/062495 WO2014202496A1 (de) 2013-06-18 2014-06-16 Verfahren zum anzeigen von umgebungsinformationen in einem fahrzeug

Country Status (2)

Country Link
DE (1) DE102013010233B4 (de)
WO (1) WO2014202496A1 (de)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015122172A1 (de) 2015-12-18 2017-06-22 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Scheinwerferbasierte Projetion von Mustern zur Vermessung räumlicher Eigenschaften einer Fahrzeugumgebung
CA3033738A1 (en) 2016-08-22 2018-03-01 Sony Corporation Driving assistant apparatus, driving assistant method, moving object, and program
DE102016217916A1 (de) 2016-09-19 2018-03-22 Volkswagen Aktiengesellschaft Verfahren, Assistenzsystem und computerlesbares Speichermedium mit Instruktionen zum Auswerten fahrwegbezogener Informationen

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69515087T2 (de) 1994-07-27 2000-09-14 Ibm Verfahren und Vorrichtung zur hemisphärischen Bildaufnahme
EP1403138A1 (de) 2002-09-30 2004-03-31 Aisin Seiki Kabushiki Kaisha Umgebungserfassung für einen beweglichen Körper
DE10114932B4 (de) 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
DE102007017038A1 (de) * 2006-04-12 2007-10-18 Toyota Jidosha Kabushiki Kaisha, Toyota System und Verfahren zur Überwachung der Umgebung eines Fahrzeugs
EP1403137B1 (de) 2002-09-30 2009-01-14 Aisin Seiki Kabushiki Kaisha Umgebungserfassung für einen beweglichen Körper
DE10292327B4 (de) * 2001-06-13 2009-06-04 Denso Corp., Kariya-shi Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
DE102009019024A1 (de) 2009-04-06 2010-01-21 Daimler Ag Verfahren und Vorrichtung zur Vermeidung von Kollisionen beim Öffnen von Fahrzeugtüren
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
EP1701306B1 (de) 2005-03-09 2011-01-19 Sanyo Electric Co., Ltd. Fahrhilfssystem
DE102010013093A1 (de) 2010-03-29 2011-09-29 Volkswagen Ag Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs
DE102011109712A1 (de) 2011-08-06 2013-02-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum unterstützten Einparken eines Kraftfahrzeugs

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000161915A (ja) 1998-11-26 2000-06-16 Matsushita Electric Ind Co Ltd 車両用単カメラ立体視システム
DE102011010860A1 (de) 2011-02-10 2012-08-16 Connaught Electronics Ltd. Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69515087T2 (de) 1994-07-27 2000-09-14 Ibm Verfahren und Vorrichtung zur hemisphärischen Bildaufnahme
DE10114932B4 (de) 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
DE10292327B4 (de) * 2001-06-13 2009-06-04 Denso Corp., Kariya-shi Fahrzeugumgebungsbildverarbeitungsvorrichtung und Aufzeichnungsmedium
EP1403138A1 (de) 2002-09-30 2004-03-31 Aisin Seiki Kabushiki Kaisha Umgebungserfassung für einen beweglichen Körper
EP1403137B1 (de) 2002-09-30 2009-01-14 Aisin Seiki Kabushiki Kaisha Umgebungserfassung für einen beweglichen Körper
EP1701306B1 (de) 2005-03-09 2011-01-19 Sanyo Electric Co., Ltd. Fahrhilfssystem
DE102007017038A1 (de) * 2006-04-12 2007-10-18 Toyota Jidosha Kabushiki Kaisha, Toyota System und Verfahren zur Überwachung der Umgebung eines Fahrzeugs
US20100220190A1 (en) * 2009-02-27 2010-09-02 Hyundai Motor Japan R&D Center, Inc. Apparatus and method for displaying bird's eye view image of around vehicle
DE102009019024A1 (de) 2009-04-06 2010-01-21 Daimler Ag Verfahren und Vorrichtung zur Vermeidung von Kollisionen beim Öffnen von Fahrzeugtüren
DE102010013093A1 (de) 2010-03-29 2011-09-29 Volkswagen Ag Verfahren und System zur Erstellung eines Modells eines Umfelds eines Fahrzeugs
DE102011109712A1 (de) 2011-08-06 2013-02-07 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum unterstützten Einparken eines Kraftfahrzeugs

Also Published As

Publication number Publication date
DE102013010233B4 (de) 2018-08-30
DE102013010233A1 (de) 2014-12-18

Similar Documents

Publication Publication Date Title
EP3401167B1 (de) Spiegelersatzsystem als kamera-monitor-system (kms) eines kraftfahrzeugs, insbesondere eines nutzfahrzeugs
EP1147032B1 (de) Einrichtung zur überwachung der umgebung eines einparkenden fahrzeugs
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
DE102010051206A1 (de) Verfahren zum Erzeugen eines Bilds einer Fahrzeugumgebung und Abbildungsvorrichtung
DE102017100004A1 (de) Verfahren zum Bereitstellen von zumindest einer Information aus einem Umgebungsbereich eines Kraftfahrzeugs, Anzeigesystem für ein Kraftfahrzeug, Fahrerassistenzsystem für ein Kraftfahrzeug sowie Kraftfahrzeug
DE102007011180A1 (de) Rangierhilfe und Verfahren für Fahrer von Fahrzeugen bzw. Fahrzeuggespannen, welche aus gegeneinander knickbare Fahrzeugelementen bestehen
EP2229594A1 (de) Verfahren und vorrichtung zum anzeigen der umgebung eines fahrzeugs
WO2010025792A1 (de) Verfahren und vorrichtung zur überwachung einer umgebung eines fahrzeuges
DE102017218074A1 (de) Verfahren zum Darstellen einer Umgebung eines Fahrzeugs
EP3437929A1 (de) Sichtsystem mit fahrsituationsbedingter sichtfeld-/sichtbereicheinblendung
DE102014204872B4 (de) Verfahren und Anzeigesystem zum Anzeigen von Umgebungsinformationen eines Fahrzeugs
EP3167427A1 (de) Zusammenfügen von teilbildern zu einem abbild einer umgebung eines fortbewegungsmittels
DE102019216348A1 (de) Fahrzeugunterstützungssystem
WO2012003942A2 (de) Verfahren und vorrichtung zur fahrerunterstützung beim fahren und/oder rangieren eines fahrzeugs
DE102008006309A1 (de) Verfahren und Vorrichtung zur Fahrerunterstützung beim Rangieren eines Fahrzeuges oder Fahrzeuggespanns
DE102010051204A1 (de) Verfahren zum Darstellen eines Hindernisses und Abbildungsvorrichtung
DE102018108751B4 (de) Verfahren, System und Vorrichtung zum Erhalten von 3D-Information von Objekten
WO2017198429A1 (de) Ermittlung von fahrzeugumgebungsdaten
EP2801076B1 (de) Tiefenbildberechnung mit einer monokamera durch eine definierte trajektorie
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102013010233B4 (de) Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
EP2603403B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung in einem kraftfahrzeug, fahrerassistenzsystem und kraftfahrzeug
DE102016208370A1 (de) Verfahren zum Ermitteln von Daten, die eine Umgebung unterhalb eines Fahrzeugs repräsentieren
EP3041710B1 (de) Verfahren zum manövrieren eines fahrzeuges
DE102012024289A1 (de) Verfahren zum Umschalten eines Kamerasystems in einen Unterstützungsmodus, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14736312

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 14736312

Country of ref document: EP

Kind code of ref document: A1