WO2016131452A1 - Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges - Google Patents

Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges Download PDF

Info

Publication number
WO2016131452A1
WO2016131452A1 PCT/DE2016/200074 DE2016200074W WO2016131452A1 WO 2016131452 A1 WO2016131452 A1 WO 2016131452A1 DE 2016200074 W DE2016200074 W DE 2016200074W WO 2016131452 A1 WO2016131452 A1 WO 2016131452A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
camera
data
sensor data
view system
Prior art date
Application number
PCT/DE2016/200074
Other languages
English (en)
French (fr)
Inventor
Markus Friebe
Felix Löhr
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to KR1020177022638A priority Critical patent/KR20170118077A/ko
Priority to CN201680010084.4A priority patent/CN107249934B/zh
Priority to JP2017538401A priority patent/JP2018509799A/ja
Priority to EP16714224.9A priority patent/EP3259907A1/de
Priority to DE112016000188.6T priority patent/DE112016000188A5/de
Publication of WO2016131452A1 publication Critical patent/WO2016131452A1/de
Priority to US15/679,603 priority patent/US20170341582A1/en

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/101—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using cameras with adjustable capturing direction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/306—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using a re-scaling of images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/602—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective with an adjustable viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar

Definitions

  • the invention relates to a method and apparatus for distortion-free viewing a vehicle surroundings of a traveling ⁇ tool, in particular a road vehicle which has a camera surround-view system.
  • Driver assistance systems that assist the driver in making driving maneuvers.
  • These advanced driver assistance systems include partially surround camera-view systems which allow it to the driving ⁇ imaging environment of the vehicle to the driver of the vehicle ⁇ show.
  • Such a camera surround-view systems include one or more vehicle cameras which provide camera images sammenge Stahlgt by a data processing unit of the camera surround view system for a vehicle environment to concernsstruckder ⁇ . The image of the vehicle environment is displayed on a display unit.
  • Conventional inevitablyba ⁇ catalyzed driver assistance systems project texture information of the camera system on a static screen, for example, on a static two-dimensional basic ⁇ surface or on a static three-dimensional shells ⁇ surface.
  • the invention accordingly provides, according to a first aspect, a camera surround view system for a vehicle, wherein the camera surround view system comprises at least one vehicle camera which supplies camera images which are transmitted by a data processing unit to the vehicle Generation of a surround view image or an environmental image displayed on a display screen, the data processing unit re-projecting textures captured by the vehicle cameras on an adaptive reprojection surface similar to the vehicle environment calculated on the basis of sensor data provided by vehicle sensors of the vehicle, wherein the data processing unit adjusts the re-projection area depending on a position and / or orientation of a virtual camera.
  • the camera surround view system comprises at least one vehicle camera which supplies camera images which are transmitted by a data processing unit to the vehicle Generation of a surround view image or an environmental image displayed on a display screen, the data processing unit re-projecting textures captured by the vehicle cameras on an adaptive reprojection surface similar to the vehicle environment calculated on the basis of sensor data provided by vehicle sensors of the vehicle, wherein the data processing unit adjusts the re-projection area depending on a position and / or
  • the sensor data provided by the vehicle sensors accurately represent the vehicle surroundings of the vehicle.
  • the sensor data comprise Parking distance data, radar data, lidar data, camera data, laser scan data and / or movement data.
  • the adaptive Re ⁇ projection surface on a dynamically changeable grid is provided.
  • the grid of the re Proj edictionsional is dynamically varied as a function of the provided Sen ⁇ sorstein.
  • the grating of the re-projection surface is a three-dimensional grating.
  • the display unit is a touch screen and the position and / or orientation of the virtual camera is on the touch screen by a user adjustable ⁇ bar.
  • the invention further provides a driver assistance system having the features specified in claim 7.
  • the invention accordingly provides, in a second aspect, a driver assistance system with a Aarin integrated camera surround-view system, said at least one vehicle ⁇ camera that provides camera images, which are processed by a data processing unit for generating image of a surround-view, which is displayed on a display unit ⁇ , wherein the data processing unit textures that are detected by the vehicle cameras of the vehicle, on an adaptive vehicle environment-like feedback
  • the invention further provides a method for distortion-free display of a vehicle environment of a vehicle with the features specified in claim 8.
  • the invention accordingly provides a method for distortion-free display of a vehicle environment of a vehicle with the following steps:
  • FIG. 2 shows a flow chart for illustrating an exemplary embodiment of the method according to the invention for the distortion-free display of a vehicle environment of a vehicle; a schematic representation for explaining the operation of the method according to the invention and the camera surround Vi ew system according to the invention.
  • the camera surround view system 1 has several components in the illustrated example.
  • the camera surround-view system 1 comprises in the illustrated embodiment, at least one Anlagenka.- ra 2, the camera images provides that by Da ⁇ ten kausaku 3 of the camera surround-view system 1 to a surround-view Bi Id or an environmental image of the vehicle are processed.
  • the surround view images or vehicle environment images generated by the data processing unit 3 are displayed on a display unit 4.
  • the data processing unit 3 calculated on the basis of sensor data which are penetratege from vehicle sensors 5 of the vehicle ⁇ represents, etechnischsflache an adaptive re-Proj.
  • Textures that are detected by the vehicle cameras 2 of the camera surround-view system 1 are similar to that of the vehicle environment calculated adaptive re-Proj etechnischsflache re ⁇ projected, thereby nimiert distortions or artifacts distorted mi ⁇ or eliminated.
  • the sensors 5 shown in FIG. 1 are, for example, sensors of a parking space control or parking space control.
  • the sensors of the vehicle may be radar sensors, lidar sensors.
  • the Sensorda- be of th other vehicle cameras 2, in particular a Ste ⁇ reoarra or mono camera, for the calculation of the adaptive re-Proj etechnischsflache delivered.
  • the sensor data is provided by a laser scanning system of the vehicle.
  • the processing unit 3 uses the sensor data or structural data for calculating the re-Proj be emiesflache .vera.rbei by the processing unit 3 used.
  • the sensor data provided by the vehicle sensors 5 reproduce the vehicle environment or objects in the vehicle environment with high accuracy. These objects are at spielswerse to other vehicles in the immediacy ⁇ cash vicinity of the vehicle, for example. To a ⁇ circle of up to five meters are located. Furthermore, these objects may also be passers-by who pass by the vehicle in close proximity at a distance of up to five meters. The objects may also be other obstacles, such as bars for limiting a parking area.
  • the re-projection area calculated by the data processing unit 3 on the basis of the sensor data preferably has a dynamically changeable grid or mesh.
  • This grid of re-Proj etechnischsflache is dynamically changed in a possible exporting ⁇ approximate shape as a function of sensor data provided.
  • the grid of the re-projecting surface is. preferably a three-dimensional grid. Is calculated by the As ⁇ ten kausaku 3 Re-Proj etechnischsION not, statically but dynamically and adaptively adaptable to the instantaneous sensor data, which are supplied by the vehicle sensors 5.
  • This vehicle sensors 5 may comprise a single camera or a front Ste ⁇ reoarra in a possible embodiment. Furthermore, the sensor units.
  • the data processing unit 3 may include one or more microprocessors, which processes the sensor data and calculates a re-projection area in real time. Textures that are detected by the vehicle cameras 2 are ied to this ⁇ be expected of the vehicle environment similar Re-P.rojetechnischsflache proj or re-proj ied.
  • the display of the vehicle cameras 2 may vary. In one possible embodiment, the vehicle has four vehicle cameras 2 at four un ⁇ ter Kunststofflichen sides of the vehicle. In the vehicle han ⁇ delt it is preferably a road vehicle, insbesonde ⁇ re a truck or a passenger car.
  • the inventive Käme- ra surround-view system 1 With the inventive Käme- ra surround-view system 1, the textures captured by the camera 2 of the camera system of the environment by the adap ⁇ tive re-P.roj re-proj ied etechnischsflache to reduce the above genann ⁇ th artifacts or eliminate.
  • the inventive camera surround view system 1 thus greatly improves the quality of the vehicle environment shown. Objects in the vehicle environment, for example, other parked near vehicles or located near Perso ⁇ nen appear less distorted than in systems that use a static re- Pan10 ⁇ 3Ober Structure.
  • the data processing unit 3 controls a virtual camera 6 as shown in FIG.
  • the virtual camera 6 provided by the Data processing unit 3 is controlled, camera images on the vehicle F from a bird's eye view.
  • the virtual camera 6 is arranged perpendicular with virtually ei ⁇ nem angle of 90 ° and a height H above the body of the vehicle F.
  • the camera image of the virtuel ⁇ len camera 6 may be made of camera images of surround-view cameras which are provided on the vehicle F, are calculated by the data processing unit.
  • the virtual Ka ⁇ ra 6 has a camera orientation relative to the driving ⁇ generating F and a relative position to the vehicle F.
  • the positi on ⁇ and orientation of the virtual camera 6 is preferably adjustable.
  • the virtual camera can be 6, starting from its vertical positi on ⁇ with an angle of 90 ° to the vehicle body tends ⁇ ge, where it assumes an inclination angle ⁇ of, for example 45th
  • the distance relationship e the height of the vehicle camera 6 with respect to the vehicle F remains constant in the example shown in FIG.
  • the data processing unit 3 reads out the current Po ⁇ sition and orientation of the virtual camera 6 relative to the vehicle F from a parameter memory of the virtual ⁇ Ka ra. 6 Depending is of the read-out parameters of the virtual camera 6 then the adaptive re-Proj etechnischsflache set by the data processing unit 3 relationship ⁇ adapted manner such that on the display unit 4 are as much texture and camera information distortion Darge ⁇ represents while obstructions in the immediate Environment of the vehicle F for the driver of the vehicle F easily recognizable.
  • the display unit 4 is a touch screen.
  • a driver or user of the vehicle F can touch the touchscreen and adjust or adjust the position and / or orientation of the virtual camera 6 in order to avoid obstacles in the immediate vehicle environment, such as bars, which mark a limited parking area clearly visible.
  • An obstacle may be any object, which prevents aas vehicle F at umherfah ⁇ ren on the road surface, for example a pile of snow or rod for limiting a parking area.
  • FIG. 2 shows a flow chart for illustrating an embodiment of the method according to the invention for the distortion-free display of a vehicle environment of a vehicle.
  • a first step Sl camera images of the vehicle surroundings are generated by vehicle cameras 2 of the vehicle F.
  • the camera images are formed by a plurality of vehicle cameras 2, which are mounted on different sides of the driving ⁇ tool ..
  • the camera images produced are processed including in step S2 to ge ⁇ nerieren a surrounding image of the vehicle environment.
  • the processing of camera images generated by a ve ⁇ rarbeitungsaku 3 takes place as shown in FIG. 1
  • the Camera images are preferably processed in real time to generate a corresponding environmental image.
  • a Re ⁇ P.roj emiesflache is first ⁇ net calculated and then textures that are detected by the vehicle cameras, re-projected on this adaptive calculated Re Monsterionsflache on the basis of provided sensor data.
  • the adaptive re-projection surface has a dynamically changeable grid that is dynamically changed depending on the sensor data provided. This grid is preferably a three-dimensional grid.
  • Step S4 the re-projection surface by the data processing unit 3 in response to a position and / or orientation of a virtual camera 6, which provides a bird's eye view camera image of the vehicle F from above, adjusted.
  • the method illustrated in Figure 2 may be implemented by a Computerprogratrun at a Moegli ⁇ chen embodiment containing computer instructions that can be executed by a microprocessor.
  • This program is stored in a possible embodiment on a data carrier or in a program memory.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

Kamera-Surround-View-System für ein Fahrzeug mit mindestens einer Fahrzeugkamera, die Kamerabilder liefert, welche durch eine Datenverarbeitungseinheit zur Erzeugung eines Umgebungsbildes verarbeitet werden, das auf einer Anzeigeeinheit angezeigt wird, wobei die Datenverarbeitungseinheit Texturen, die von den Fahrzeugkameras erfasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen Re-Projektionsfläche reprojiziert, die auf Basis von durch Fahrzeugsensoren bereitgestellten Sensordaten berechnet wird, wobei die Datenverarbeitungseinheit die Re-Projektionsfläche in Abhängigkeit von einer Position und Orientierung einer virtuellen Kamera anpasst.

Description

VERFAHREN UND VORRICHTUNG ZUM VERZERRUNGSFREIEN ANZEIGEN EINER FAHRZEUGUMGEBUNG EINES FAHRZEUGES
Die Erfindung betrifft ein Verfahren und eine Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahr¬ zeuges, insbesondere eines Straßenfahrzeuges, welches über ein Kamera-Surround-View-System verfügt.
Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme enthalten zum Teil Kamera-Surround-View-Systeme, die es erlauben, die Fahr¬ zeugumgebung des Fahrzeuges dem Fahrer des Fahrzeuges anzu¬ zeigen . Derartige Kamera-Surround-View-Systeme umfassen eine oder mehrere Fahrzeugkameras, welche Kamerabilder liefern, die durch eine Datenverarbeitungseinheit des Kamera-Surround- View-Systems zu einem Umgebungsbildder Fahrzeugumgebung zu¬ sammengefügt werden . Das Bild der Fahrzeugumgebung wird dabei auf einer Anzeigeeinheit angezeigt. Herkömmliche kameraba¬ sierte Fahrerassistenzsysteme projizieren Texturinformationen des Kamerasystems auf einer statischen Projektionsfläche, beispielsweise auf einer statischen zweidimensionalen Grund¬ fläche oder auf einer statischen dreidimensionalen Schalen¬ fläche .
Derartige Systeme haben jedoch den gravierenden Nachteil, dass Objekte der Fahrzeugumgebung stark verzerrt angezeigt werden, da die Textur-Re-Proj ektionsfläche statisch ist und deshalb nicht der realen Umgebung des Kamerasystems ent¬ spricht bzw. dieser ähnlich ist. Dadurch können stark ver¬ zerrte Objekte angezeigt werden, die störende Artefakte bil¬ den . Es ist daher eine Aufgabe der vorliegenden Erfindung, eine Vorrichtung und ein Verfahren zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges zu schaffen, welches die Darstellung derartiger verzerrter Artefakte unterbindet, um. Hindernisse in der Fahrzeugumgebung möglichst gut sichtbar und verzerrungsfrei darzustellen.
Diese Aufgabe wird, erfindungsgemäß durch ein Kamera-Surround- View-System mit den in Patentanspruch 1 angegebenen Merkmalen gelöst ,
Die Erfindung schafft demnach gemäß einem ersten Aspekt ein Kamera-Surround-View-System für ein Fahrzeug, wobei das Kame- ra-Surround-View-System mindestens eine Fahrzeugka.mera auf- weist, die Kamerabilder liefert, welche durch eine Datenve rarbeitungseinheit zur Erzeugung eines Surround-View-Bildes bzw. eines Umgebungsbildes verarbeitet werden, das auf einer Anze.igee.inhe.it angezeigt wird, wobei die Datenverarbeitungseinheit Texturen, die von den Fahrzeugkameras erfasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen ReProjektionsflache re-proj iziert, die auf Basis von durch Fahrzeugsensoren des Fahrzeuges bereitgestellten Sensordaten, berechnet wird, wobei die Datenverarbeitungseinheit die Re- Projektionsflache in Abhängigkeit einer Position und/oder Orientierung einer virtuellen Kamera anpasst.
Bei einer möglichen Ausführungsform aes erfindungsgemäßen Ka- mera-Surround-View-Systems stellen die von den Fahrzeugsenso¬ ren bereitgestellten Sensordaten die Fahrzeugumgebung des Fahrzeuges genau dar.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems umfassen die Sensordaten Parkabstandsdaten, Radardaten, Lidardaten, Kameradaten, Laserscandaten und/oder Bewegungsdaten.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems weist die adaptive Re¬ Projektionsflache ein dynamisch veränderbares Gitter auf.
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems ist das Gitter der Re- Proj ektionsfläche in Abhängigkeit der bereitgestellten Sen¬ sordaten dynamisch veränderbar .
Bei einer weiteren möglichen Ausführungsform des erfindungsgemäßen Kamera-Surround-View-Systems ist das Gitter der Re- Proj ektionsfläche ein dreidimensionales Gitter.
Bei einer möglichen Ausführungsform des erfindungsgemäßen Ka¬ mera-Surround-View-Systems ist die Anzeigeeinheit ein Touch- screen und die Position und/oder Orientierung der virtuellen Kamera ist über das Touchscreen durch einen Nutzer einstell¬ bar .
Die Erfindung schafft ferner ein Fahrerassistenzsystem mit den in Patentanspruch 7 angegebenen Merkmalen .
Die Erfindung schafft demnach gemäß einem zweiten Aspekt ein Fahrerassistenzsystem mit einem aarin integrierten Kamera- Surround-View-System, wobei dieses mindestens eine Fahrzeug¬ kamera aufweist, die Kamerabilder liefert, welche durch eine Datenverarbeitungseinheit zur Erzeugung eines Surround-View- Bildes verarbeitet werden, das auf einer Anzeigeeinheit ange¬ zeigt wird, wobei die Datenverarbeitungseinheit Texturen, die von den Fahrzeugkameras des Fahrzeuges erfasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen Re-
Proj ektionsflache re-proj iziert, die auf Basis von durch
Fahrzeugsensoren bereitgestellten Sensordaten berechnet wird.
Die Erfindung schafft ferner ein Verfahren zum verzerrungs¬ freien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges mit den in Patentanspruch 8 angegebenen Merkmalen.
Die Erfindung schafft demnach ein Verfahren zum verzerrungs¬ freien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges mit den Schritten:
Erzeugen von Kamerabildern der Fahrzeugumgebung durch Fahr- zeugkameras des Fahrzeuges,
Verarbeiten der erzeugten Kamerabilder zur Generierung eines Umgebungsbildes der Fahrzeugumgebung,
Re-projizieren von Texturen, die von den Fahrzeugkameras er- fasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen Re-Proj ektionsfläche, die auf Basis von durch Fahrzeug¬ sensoren bereitgestellten Sensordaten berechnet wird und Anpassen der Re-Projektionsfläche in Abhängigkeit einer Posi¬ tron und/oder Orientierung einer virtuellen Kamera, die ein Vogelperspektiven-Kamerabild des Fahrzeuges liefert .
"Weitere mögliche Ausführungsformen des erfindungsgemäßen Verfahrens sind in den Unteransprüchen angegeben.
Im Weiteren werden mögliche Ausführungsformen der erfindungs¬ gemäßen Vorrichtung und des erfindungsgemäßen Verfahrens zur verzerrungsfreien Anzeige einer Fahrzeugumgebung eines Fahrzeuges unter Bezugnahme auf die beigefügten Figuren näher er¬ läutert .
Es zeigen: ein Blockschaltbild zur Darstellung eines Ausfüh- rungsbeispiels eines er findungsgemäßen Kamera- Surround-View-Systems ;
Figur 2 ein Ablaufdiagramm zur Darstellung eines Ausfüh- rungsbeispiels des erfindungsgemäßen Verfahrens zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges ; eine schematische Darstellung zur Erläuterung der Funktionsweise des erfindungsgemäßen Verfahrens und des erfindungsgemäßen Kamera-Surround-Vi ew-Systems .
Wie man in Figur 1 erkennen kann, weist das Kamera-Surround- View-System 1 bei dem dargestellten Beispiel mehrere Komponenten auf. Das Kamera-Surround-View-System 1 weist bei dem dargestellten Ausführungsbeispiel mindestens eine Fahrzeugka.- mera 2 auf, die Kamerabilder liefert, welche durch eine Da¬ tenverarbeitungseinheit 3 des Kamera-Surround-View-Systems 1 zu einem Surround-View-Bi Id bzw. einem Umgebungsbild des Fahrzeuges verarbeitet werden. Die von der Datenverarbeitungseinheit 3 erzeugten Surround-View-Bilder bzw. Fahrzeugumgebungsbilder werden auf einer Anzeigeeinheit 4 angezeigt. Die Datenverarbeitungseinheit 3 berechnet auf Basis von Sen- sordaten, die von Fahrzeugsensoren 5 des Fahrzeuges bereitge¬ stellt werden, eine adaptive Re-Proj ektionsflache . Texturen, die von den Fahrzeugkameras 2 des Kamera-Surround-View- Systems 1 erfasst werden, werden auf dieser berechneten adaptiven der Fahrzeugumgebung ähnlichen Re-Proj ektionsflache re¬ projiziert, wodurch Verzerrungen bzw. verzerrte Artefakte mi¬ nimiert bzw. eliminiert werden. Bei den in Figur 1 dargestellten Sensoren 5 handelt es sich beispielsweise um Sensoren einer Parkabstandssteuerung bzw. Parkabstandsregelung , Weiterhin kann es sich bei den Sensoren des Fahrzeuges um Radarsensoren, Lidarsensoren handeln. Bei einer weiteren möglichen Ausführungsform werden die Sensorda- ten von weiteren Fahrzeugkameras 2, insbesondere einer Ste¬ reokamera oder einer Monokamera, zur Berechnung der adaptiven Re-Proj ektionsflache geliefert. Bei einer weiteren möglichen Ausführungsform werden die Sensordaten durch ein Laserscansystem des Fahrzeuges bereitgestellt. Bei einer weiteren mög¬ lichen Ausführungsform werden auch Bewegungsdaten oder Strukturdaten zur Berechnung der Re-Proj ektionsflache durch die Daten.vera.rbei tungseinheit 3 herangezogen. Die von den Fahrzeugsensoren 5 bereitgestellten Sensordaten geben mit einer hohen Genauigkeit die Fahr zeugumgebung bzw. Objekte in der Fahrzeugumgebung wieder. Bei diesen Objekten handelt es sich bei spielswerse um andere Fahrzeuge, die sich in der unmittel¬ baren Umgebung des Fahrzeuges, beispielsweise in. einem Um¬ kreis von bis zu fünf Metern, befinden. Weiterhin kann es sich bei diesen Objekten auch um Passanten handeln, die an dem Fahrzeug in unmittelbarer Nähe in einem Abstand von bis zu fünf Metern vorbeigehen. Bei den Objekten kann es sich auch um sonstige Hindernisse, wie beispielsweise Stangen zur Begrenzung einer Parkfläche handeln.
Die von der Daten.vera.rbei tungseinheit 3 auf Basis der Sensordaten berechnete Re-Proj ektionsflache weist vorzugsweise ein dynamisch veränderbares Gitter bzw. Mesh auf. Dieses Gitter der Re-Proj ektionsflache wird bei einer möglichen Ausfüh¬ rungsform in Abhängigkeit der bereitgestellten Sensordaten dynamisch, verändert. Das Gitter der Re-Proj ektionsflache ist. vorzugsweise ein dreidimensionales Gitter. Die durch die Da¬ tenverarbeitungseinheit 3 berechnete Re-Proj ektionsfläche ist nicht, statisch, sondern dynamisch und adaptiv anpassbar an die momentanen Sensordaten, welche von den Fahrzeugsensoren 5 geliefert werden. Diese Fahrzeugsensoren 5 können bei einer möglichen Ausführungsform eine Monofrontkamera oder eine Ste¬ reokamera umfassen. Weiterhin können die Sensoreinheiten. 5 ein Lidarsystem aufweisen, das Daten liefert oder ein Radar- System, welches Radardaten der Umgebung an die Datenverarbeitungseinheit 3 überträgt . Die Datenverarbeitungseinheit 3 kann einen oder mehrere Mikroprozessoren enthalten, welche die Sensordaten verarbeitet und daraus eine Re- Projektionsfläche in Echtzeit berechnet . Texturen, die von den Fahrzeugkameras 2 erfasst werden, werden auf diese be¬ rechnete der Fahrzeugumgebung ähnliche Re-P.rojektionsflache proj iziert bzw. re-proj iziert . Die Anzeige der Fahrzeugkame- ras 2 kann variieren. Bei einer möglichen Ausführungsform verfügt das Fahrzeug über vier Fahrzeugkameras 2 an vier un¬ terschiedlichen Seiten des Fahrzeuges . Bei dem Fahrzeug han¬ delt es sich vorzugsweise um ein Straßenfahrzeug, insbesonde¬ re einen Lkw oder einen Pkw. Mit dem erfindungsgemäßen Käme- ra-Surround-View-System 1 werden die durch die Kamera 2 des Kamerasystems erfassten Texturen der Umgebung durch die adap¬ tive Re-P.roj ektionsflache re-proj iziert, um die oben genann¬ ten Artefakte zu reduzieren bzw. zu beseitigen. Durch das er- findungsgemäße Kamera-Surround-View-System 1 wird somit die Qualität der dargestellten Fahrzeugumgebung stark verbessert. Objekte in der Fahrzeugumgebung, beispielsweise andere in der Nähe geparkten Fahrzeuge oder in der Nähe befindliche Perso¬ nen, erscheinen weniger verzerrt als bei Systemen, die eine statische Re-Projekt10Π3Oberfläche verwenden .
Die Datenverarbeitungseinheit 3 steuert eine virtuelle Kamera 6 wie sie in Figur 3 dargestellt ist. Wie man aus der Figur 3 erkennen kann liefert die virtuelle Kamera 6, die durch die Datenverarbeitungseinheit 3 angesteuert wird, Kamerabilder auf das Fahrzeug F aus einer Vogelperspektive. Bei einer Grundeinstellung ist die virtuelle Kamera 6 senkrecht mit ei¬ nem Winkel von 90° und einer Höhe H über der Karosserie des Fahrzeuges F virtuell angeordnet. Das Kamerabild der virtuel¬ len Kamera 6 kann aus Kamerabildern von Surround-View- Kameras, die an dem Fahrzeug F vorgesehen sind, durch die Datenverarbeitungseinheit 3 berechnet werden . Die virtuelle Ka¬ mera 6 besitzt eine Kameraorientierung relativ zu dem Fahr¬ zeug F sowie eine Relativposition zu dem Fahrzeug F. Die Da¬ tenverarbeitungseinheit 3 des Kamera-Surround-View-System 1 passt die Re-Proj ektionsflache in Abhängigkeit zu einer Position und Orientierung der virtuellen Kamera 6 an. Die Positi¬ on und Orientierung der virtuellen Kamera 6 ist vorzugsweise einstellbar. Wie in Figur 3 dargestellt, kann beispielsweise die virtuelle Kamera 6 ausgehend von ihrer vertikalen Positi¬ on mit einem Winkel von 90° über der Fahrzeugkarosserie ge¬ neigt werden, wobei sie einen Neigungswinkel α von beispielsweise 45 einnimmt . Der Abstand beziehung e die Höhe der Fahrzeugkamera 6 bezüglich des Fahrzeuges F bleibt in dem in Figur 3 dargestellten Beispiel konstant. Neben der Relativpo¬ sition ist es zusätzlich möglich auch die Orientierung der Fahrzeugkamera 6 anzupassen. Bei einer möglichen Ausführungs- form liest die Datenverarbeitungseinheit 3 die derzeitige Po¬ sition und Orientierung der virtuellen Kamera 6 relativ zu dem Fahrzeug F aus einem Parameterspeicher der virtuellen Ka¬ mera 6 aus. Abhängig von den ausgelesenen Parametern der virtuellen Kamera 6 wird dann die adaptive Re-Proj ektionsflache durch die Datenverarbeitungseinheit 3 eingestellt beziehungs¬ weise angepasst, so dass auf der Anzeigeeinheit 4 möglichst viel Textur bzw. Kamerainformationen verzerrungsfrei darge¬ stellt sind und gleichzeitig Hindernisse in der unmittelbaren Umgebung des Fahrzeuges F für den Fahrer des Fahrzeuges F leicht erkennbar sind. Bei einer möglichen Ausführungsform handelt es sichbei der Anzeigeeinheit 4 um ein Touchscreen. Ein Fahrer bzw. Nutzer des Fahrzeuges F kann bei einer möglichen Ausführungsform das Touchscreen berühren und dabei die Position und/oder Orientierung der virtuellen Kamera 6 einstellen bzw. justieren, um Hindernisse in der unmittelbaren Fahrzeugumgebung, beispielsweise Stangen, die eine begrenzte Parkfläche markieren, möglichst deutlich zu erkennen. Bei ei¬ ner weiteren möglichen Ausführungsform ist es auch möglich den Abstand bzw. die Höhe der virtuellen Kamera 6 über dem beobachteten Fahrzeug F seitens des Nutzers einzustellen, um ein in der Fahrzeugumgebung befindliches Hindernis möglichst deutlich und detailliert zu erkennen. Ein Hindernis kann ein beliebiges Objekt, sein, welches aas Fahrzeug F beim umherfah¬ ren auf der Fahrbahnoberfläche hindert, beispielsweise ein Schneehaufen oder eine Stange zur Begrenzung einer Parkfläche .
Figur 2 zeigt ein Ablaufdiagramm zur Darstellung einer Ausführungsform des erfindungsgemäßen Verfahrens zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges.
In einem, ersten Schritt Sl werden Kamerabilder der Fahrzeug¬ umgebung durch Fahrzeugkameras 2 des Fahrzeuges F erzeugt . Beispielsweise werden die Kamerabilder durch mehrere Fahr- zeugkameras 2 erzeugt, die an verschiedenen Seiten des Fahr¬ zeuges angebracht sind..
Die erzeugten Kamerabilder werden einschließend im Schritt S2 verarbeitet, um ein Umgebungsbild der Fahrzeugumgebung zu ge¬ nerieren. Bei einer möglichen Ausführungsform erfolgt die Verarbeitung der erzeugten Kamerabilder durch eine Datenve¬ rarbeitungseinheit 3, wie sie in Figur 1 dargestellt ist. Die Kamerabilder werden vorzugsweise in Echtzeit verarbeitet, um ein entsprechendes Umgebungsbild zu generieren.
In einem weiteren Schritt S3 wird zunächst auf Basis von bereitgestellten Sensordaten eine Re~P.roj ektionsflache berech¬ net und anschließend Texturen, die von den Fahrzeugkameras erfasst werden, auf dieser adaptiven berechneten ReProjekt ionsflache re-projiziert . Die adaptive Re- Proj ektionsflache weist ein dynamisch veränderbares Gitter auf, das in Abhängigkeit der bereitgestellten Sensordaten dynamisch verändert wird. Dieses Gitter ist vorzugsweise ein dreidimensionales Gitter.
In einem. Schritt S4 wird die Re-Proj ektionsflache durch die Datenverarbeitungseinheit 3 in Abhängigkeit einer Position und/oder Orientierung einer virtuellen Kamera 6, die ein Vogelperspektiven-Kamerabild des Fahrzeuges F von oben liefert, angepasst .
Das in Figur 2 dargestellte Verfahren kann bei einer mögli¬ chen Ausführungsform durch ein Computerprogratrun implementiert sein, welches Computerbefehle enthält, die durch einen Mikroprozessor ausgeführt werden können. Dieses Programm wird bei einer möglichen Ausführungsform auf einem Daten-Träger oder in einem Programmspeicher gespeichert.

Claims

PATENTANSPRÜCHE
1. Kamera-Surround-View-System (1) für ein Fahrzeug (F) mit mindestens einer Fahrzeugkamera (2) , die Kamerabilder liefert, welche durch eine Datenverarbeitungseinheit (3) zur Erzeugung eines Umgebungsbildes verarbeitet werden, das auf einer Anzeigeeinheit (4) angezeigt wird, wobei die Datenverarbeitungseinheit (3) Texturen, die von den Fahrzeugkameras (2) erfasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen Re-Projektionsflache reprojiziert, die auf Basis von durch Fahrzeugsensoren (5) bereitgestellten Sensordaten berechnet wird, wobei die Datenverarbeitungseinheit (3) die Re-Projektionsflache in Abhängigkeit von einer Position und Orientierung einer virtuellen Kamera (6) anpasst.
2. Kamera-Surround-View-System nach Anspruch 1,
wobei die von den Fahrzeugsensoren (5) bereitgestellten Sensordaten die Fahrzeugumgebung des Fahrzeuges (F) wiedergeben .
3. Kamera-Surround-View-System nach Anspruch 2,
wobei die Sensordaten Parkabstandsdaten, Radardaten, Lidardaten, Kameradaten, Laserscandaten und Bewegungsdaten aufweisen,
4. Kamera-Surround-View-System nach einem der vorangehenden Ansprüche 1 bis 3,
wobei die berechnete adaptive Re-Projektionsflache ein dynamisch veränderbares Gitter aufweist.
5. Kamera-Surround-View-System nach Anspruch 4,
wobei das Gitter der Re-Projektionsfräche ein dreidimen- sionales Gitter ist, das in Abhängigkeit der bereitge¬ stellten Sensordaten dynamisch veränderbar ist.
6. Kamera-Surround-View-System nach einen der vorangegange¬ nen Ansprüche 1 bis 5,
wobei die Anzeigeeinheit (4) ein Touchscreen ist und die Position und Orientierung der virtuellen Kamera (6) durch einen Nutzer einstellbar ist.
7. Fahrerassistenzsystem für ein Fahrzeug mit einem Kamera- Surround-View-System (1) nach einem der vorangehenden An¬ sprüche 1 bis 6.
8. Verfahren zum verzerrungsfreien Anzeigen einer Fahrzeug¬ umgebung eines Fahrzeuges (F) mit den Schritten:
(a) Erzeugen (Sl ) von Kamerabildern der Fahrzeugumgebung durch Fahrzeugkameras (2) des Fahrzeuges;
(b) Verarbeiten (S2) der erzeugten Kamerabilder zur Gene¬ rierung eines Umgebungsbildes der Fahrzeugumgebung ; und
(c) Re-proj izieren (S3) von Texturen, die von den Fahr¬ zeugkameras (2) eriasst werden, auf einer adaptiven der Fahrzeugumgebung ähnlichen Re-Projektionsflache, die auf Basis von durch Fahrzeugsensoren (5) bereit¬ gestellten Sensordaten berechnet wird.,
(d) Anpassen (S4) der Re-Projektionsflache in Abhängig¬ keit einer Position und/oder Orientierung einer virtuellen Kamera (6), die ein Vogelperspektiven-- Kamerabild des Fahrzeuges (F) liefert.
9. Verfahren nach Anspruch 8,
wobei die von den Fahrzeugsensoren (5) bereitgestellten Sensordaten die Fahrzeugumgebung des Fahrzeuges (F) dar- stel len .
10. Verfahren nach Anspruch 9, wobei die Sensordaten Parkab- standsdaten, Radardaten, Lidardaten, Kameradaten, Laser¬ scandaten und Bewegungsaaten umfassen .
11. Verfahren nach einem der vorangehenden Ansprüche 8 bis 10,
wobei die adaptive Re-Proj ektionsflache ein dynamisch veränderbares Gitter aufweist .
12. Verfahren nach Anspruch 11,
wobei das Gitter der Re-Projektionsflache ein dreidimen¬ sionales Gitter ist, das in Abhängigkeit der bereitge¬ stellten Sensordaten dynamisch verändert wird.
13. Verfahren nach Anspruch 12,
wobei die Position und Orientierung der virtuellen Kamera (6) durch einen Nutzer über eine Nut zerschnittsteile ein¬ gestellt werden .
14. Computerprogramm mit Befehlen, welche das Verfahren nach einem der vorangehenden Ansprüche 8 bis 13 ausführt.
Fahrzeug, insbesondere Straßenfahrzeug, mit einem Fahrer assistenzsystem nach Anspruch 7.
PCT/DE2016/200074 2015-02-17 2016-02-04 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges WO2016131452A1 (de)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020177022638A KR20170118077A (ko) 2015-02-17 2016-02-04 차량 주변을 왜곡 없이 보여주는 방법 및 장치
CN201680010084.4A CN107249934B (zh) 2015-02-17 2016-02-04 无失真显示车辆周边环境的方法和装置
JP2017538401A JP2018509799A (ja) 2015-02-17 2016-02-04 車両の車両周辺部の歪無い表示のための方法、並びに、装置
EP16714224.9A EP3259907A1 (de) 2015-02-17 2016-02-04 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
DE112016000188.6T DE112016000188A5 (de) 2015-02-17 2016-02-04 Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges
US15/679,603 US20170341582A1 (en) 2015-02-17 2017-08-17 Method and device for the distortion-free display of an area surrounding a vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102015202863.1 2015-02-17
DE102015202863.1A DE102015202863A1 (de) 2015-02-17 2015-02-17 Verfahren und Vorrichtung zum verzerrungsfreien Anzeigen einer Fahrzeugumgebung eines Fahrzeuges

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/679,603 Continuation US20170341582A1 (en) 2015-02-17 2017-08-17 Method and device for the distortion-free display of an area surrounding a vehicle

Publications (1)

Publication Number Publication Date
WO2016131452A1 true WO2016131452A1 (de) 2016-08-25

Family

ID=55661011

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2016/200074 WO2016131452A1 (de) 2015-02-17 2016-02-04 Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges

Country Status (7)

Country Link
US (1) US20170341582A1 (de)
EP (1) EP3259907A1 (de)
JP (1) JP2018509799A (de)
KR (1) KR20170118077A (de)
CN (1) CN107249934B (de)
DE (2) DE102015202863A1 (de)
WO (1) WO2016131452A1 (de)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015221340B4 (de) * 2015-10-30 2021-02-25 Conti Temic Microelectronic Gmbh Vorrichtung und Verfahren zur Bereitstellung einer Fahrzeugumgebungsansicht für ein Fahrzeug
DE102017216822A1 (de) * 2017-09-22 2019-03-28 Continental Automotive Gmbh Vorrichtung und Verfahren zum Anpassen einer Bildverarbeitung basierend auf einer Form einer Anzeigeneinrichtung für ein Kraftfahrzeug
CN107948501A (zh) * 2017-10-30 2018-04-20 深圳市易成自动驾驶技术有限公司 自动环视方法、装置及计算机可读存储介质
JP7163732B2 (ja) * 2018-11-13 2022-11-01 トヨタ自動車株式会社 運転支援装置、運転支援システム、運転支援方法およびプログラム
DE102019204656A1 (de) * 2019-04-02 2020-10-08 Conti Temic Microelectronic Gmbh Parkassistenzsystem
CN113353067A (zh) * 2021-07-14 2021-09-07 重庆大学 一种基于全景摄像头的多环境检测与多模态匹配的平行泊车路径规划系统
CN113607203B (zh) * 2021-07-30 2024-05-28 宁波路特斯机器人有限公司 一种车辆传感器的控制方法及系统、一种车辆

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1462762A1 (de) * 2003-03-25 2004-09-29 Aisin Seiki Kabushiki Kaisha Vorrichtung zur Umgebungserfassung eines Fahrzeugs
EP2661073A2 (de) * 2012-05-03 2013-11-06 Harman International Industries, Incorporated System und Verfahren zur interaktiven Steuerung einer virtuellen Kamera
US20140347450A1 (en) * 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05638A (ja) * 1991-06-24 1993-01-08 Sony Corp 車載用監視装置
JP2008217267A (ja) * 2007-03-01 2008-09-18 Denso Corp 道路形状認識装置
CN101442618A (zh) * 2008-12-31 2009-05-27 葛晨阳 用于车辆辅助驾驶的360度环形视频合成方法
JPWO2011158344A1 (ja) * 2010-06-16 2013-08-15 コニカミノルタ株式会社 画像処理方法、プログラム、画像処理装置及び撮像装置
DE102010042063B4 (de) * 2010-10-06 2021-10-28 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von aufbereiteten Bilddaten über ein Umfeld eines Fahrzeugs
CN102142138A (zh) * 2011-03-23 2011-08-03 深圳市汉华安道科技有限责任公司 一种车辆辅助系统中的图像处理方法以及子系统
JP5861871B2 (ja) * 2011-12-28 2016-02-16 スズキ株式会社 俯瞰画像提示装置
DE102012018326B4 (de) * 2012-09-15 2019-12-19 Zf Friedrichshafen Ag Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit verdeckungsfreier Umsichtfunktion
DE102012018325A1 (de) * 2012-09-15 2014-03-20 DSP-Weuffen GmbH Verfahren und Vorrichtung für ein bildgebendes Fahrerassistenzsystem mit adaptiver Umsichtdarstellung
JP6014433B2 (ja) * 2012-09-19 2016-10-25 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6148887B2 (ja) * 2013-03-29 2017-06-14 富士通テン株式会社 画像処理装置、画像処理方法、及び、画像処理システム
JP6310652B2 (ja) * 2013-07-03 2018-04-11 クラリオン株式会社 映像表示システム、映像合成装置及び映像合成方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1462762A1 (de) * 2003-03-25 2004-09-29 Aisin Seiki Kabushiki Kaisha Vorrichtung zur Umgebungserfassung eines Fahrzeugs
US20140347450A1 (en) * 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings
EP2661073A2 (de) * 2012-05-03 2013-11-06 Harman International Industries, Incorporated System und Verfahren zur interaktiven Steuerung einer virtuellen Kamera

Also Published As

Publication number Publication date
CN107249934A (zh) 2017-10-13
JP2018509799A (ja) 2018-04-05
CN107249934B (zh) 2021-01-12
KR20170118077A (ko) 2017-10-24
EP3259907A1 (de) 2017-12-27
DE102015202863A1 (de) 2016-08-18
US20170341582A1 (en) 2017-11-30
DE112016000188A5 (de) 2017-08-31

Similar Documents

Publication Publication Date Title
EP3259907A1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
EP3140813B1 (de) Verfahren und vorrichtung zum verzerrungsfreien anzeigen einer fahrzeugumgebung eines fahrzeuges
EP3328686B1 (de) Verfahren und vorrichtung zum anzeigen einer umgebungsszene eines fahrzeuggespanns
DE102013209415B4 (de) Dynamische Hinweisüberlagerung mit Bildbeschneidung
DE102014107158B4 (de) Verbesserte Top-Down-Bilderzeugung in einem Frontbordstein-Visualisierungssystem
DE102016214597A1 (de) Verfahren zur Unterstützung eines Ankuppelvorgangs eines Fahrzeugs sowie Unterstützungssystem
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
EP2179892A1 (de) Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
DE102009045233A1 (de) Verfahren und Vorrichtung zur kombinierten visuellen Anzeige von Video- und Abstandsdaten einer Verkehrssituation
DE102016203710B4 (de) Abstands- und Richtungsschätzung eines Zielpunkts von einem Fahrzeug unter Verwendung einer monokularen Videokamera
DE102016124978A1 (de) Virtuelle Repräsentation einer Umgebung eines Kraftfahrzeugs in einem Fahrerassistenzsystem mit mehreren Projektionsflächen
EP3730346A1 (de) Sichtsystem für ein fahrzeug
DE102018001969A1 (de) Verfahren zur Kalibrierung eines kontaktanalogen Headup-Displays eines Fahrzeuges in einer Werkstatt
DE102021110477A1 (de) Dynamische anpassung eines bildes mit erweiterter realität
DE102012208188A1 (de) Verfahren und Vorrichtung zum Darstellen einer Sollzeitlücke für ein Fahrzeug
DE102018102047A1 (de) Verfahren zum Darstellen eines Umgebungsbereichs eines Kraftfahrzeugs mit virtuellen, länglichen Abstandsmarkierungen in einem Bild, Computerprogrammprodukt, sowie Anzeigesystem
EP3073446B1 (de) Verfahren zum darstellen einer fahrzeugumgebung eines fahrzeuges
WO2013139661A1 (de) Verfahren und vorrichtung zur bildverarbeitung von bilddaten
DE102013008828A1 (de) Verfahren zur Erstellung eines Modells eines Umfelds eines Fahrzeugs sowie entsprechend ausgestaltetes Fahrerassistenzsystem
EP3380357A1 (de) Fahrerassistenzsystem mit adaptiver umgebungsbilddatenverarbeitung
DE102018217611A1 (de) Konzept zum Einstellen einer einstellbaren Komponente eines Kraftfahrzeugs
EP3973511A1 (de) Verfahren zur erzeugung eines bildes einer fahrzeugumgebung und vorrichtung zur erzeugung eines bildes einer fahrzeugumgebung
DE102020107949A1 (de) Sichtfeldunterstützungsbild-Erzeugungsvorrichtung und Bildumwandlungsverfahren
EP3571091B1 (de) Verfahren und vorrichtung zum darstellen einer umgebung eines fahrzeuges
DE102019106297A1 (de) Fahrzeugumgebungsanzeigesystem und Anzeigesteuervorrichtung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16714224

Country of ref document: EP

Kind code of ref document: A1

DPE1 Request for preliminary examination filed after expiration of 19th month from priority date (pct application filed from 20040101)
REEP Request for entry into the european phase

Ref document number: 2016714224

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 112016000188

Country of ref document: DE

ENP Entry into the national phase

Ref document number: 2017538401

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20177022638

Country of ref document: KR

Kind code of ref document: A

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112016000188

Country of ref document: DE