WO2011015283A1 - Verfahren zur überwachung einer umgebung eines fahrzeugs - Google Patents

Verfahren zur überwachung einer umgebung eines fahrzeugs Download PDF

Info

Publication number
WO2011015283A1
WO2011015283A1 PCT/EP2010/004415 EP2010004415W WO2011015283A1 WO 2011015283 A1 WO2011015283 A1 WO 2011015283A1 EP 2010004415 W EP2010004415 W EP 2010004415W WO 2011015283 A1 WO2011015283 A1 WO 2011015283A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
objects
vehicle
environment
boundary line
Prior art date
Application number
PCT/EP2010/004415
Other languages
English (en)
French (fr)
Inventor
Joachim Gloger
Thomas Ruland
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Priority to CN201080034588.2A priority Critical patent/CN102473239B/zh
Priority to EP10737508A priority patent/EP2462538A1/de
Priority to US13/384,814 priority patent/US8750572B2/en
Priority to JP2012523219A priority patent/JP5667629B2/ja
Publication of WO2011015283A1 publication Critical patent/WO2011015283A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/41—Extracting pixel data from a plurality of image sensors simultaneously picking up an image, e.g. for increasing the field of view by combining the outputs of a plurality of sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/16—Image acquisition using multiple overlapping images; Image stitching

Definitions

  • the invention relates to a method for monitoring an environment of a vehicle, wherein the surroundings and objects present therein are detected by means of at least a first image capture unit and a second image capture unit whose capture regions at least partially overlap and form an overlap region, wherein from Individual images on the basis of an image processing unit, an overall image is generated, which shows the vehicle and its surroundings from a bird's eye view.
  • Vehicle dimensions and / or a small clarity marked As a result, in particular, maneuvering with these vehicles is very difficult for a driver. Therefore, it is advantageous to vehicles and their environment, especially an environment behind or next to this, from a bird's eye view on a
  • Laserscanner randomly recorded laser scan data wherein the laser scanner is mounted on a vehicle and each of the sampled position data and
  • Positioning data are assigned. Furthermore, at least one image sequence is detected by means of a camera also arranged on the vehicle, with each image of the image sequence in turn being assigned position data and position determination data. From the laser scan data, a surface is determined, wherein a position of the
  • the panoramic view or an all-round view becomes for the said surface of at least one image sequence depending on the position of this and the position data assigned to each of the images and
  • US 2006/0192660 A1 discloses a device for displaying a
  • the device comprises a first detection unit, which is arranged on one side of the vehicle and is provided for detecting a first image.
  • a second detection unit is provided for detecting a second image, wherein the second detection unit is arranged relative to the first detection unit in front of it.
  • a display unit is provided for displaying the captured images and for displaying the surroundings of the vehicle.
  • a boundary line between the first and the second image is defined in an overall image formed from these images such that the boundary line is identical to a straight line connecting a position of the first camera and a position of the second camera.
  • the invention has for its object to provide a comparison with the prior art improved method for monitoring an environment of a vehicle.
  • the object is achieved by a method, which in the
  • Image capturing unit and a second image capture unit whose coverage areas overlap at least partially and form an overlap area, wherein an overall image is generated from individual images captured by the image capture units based on an image processing unit, which shows the vehicle and its surroundings from a bird's eye view.
  • raised objects such as persons, obstacles or other objects, in particular also on vehicles with a large vehicle length
  • Single image area a course of a boundary line that extends from an origin to the image edge of the overall image, so variable given that the boundary line extends away from the objects.
  • Fig. 1 shows schematically a section of an overall image according to the prior
  • Technique showing a vehicle, its surroundings and an object from a bird's-eye view 2 shows schematically the section of an overall image with a variably definable borderline between a first and a second frame area
  • Fig. 3 shows schematically a subdivision of the overall picture into several
  • Fig. 4 shows schematically a rectangular course of the boundary line between the
  • FIG. 5 schematically shows a curved course of the boundary line between the first individual image area and the second individual image area of the first image area.
  • FIG. 1 shows a detail of an overall image G according to the prior art, which shows a vehicle F whose surroundings U and an object 01 are from a bird's-eye view.
  • a first image detection unit 1 At the front end of the vehicle F is a first image detection unit 1 and on the right side of the vehicle F, a second image detection unit 2 is arranged, by means of which the vehicle F and its surroundings U can be detected. In this case, coverage areas of the image acquisition units 1 and 2 at least partially overlap.
  • the image acquisition units 1 and 2 are preferably cameras, each having a large detection area. In addition to conventional cameras, these may in particular be omnidirectional cameras. these can
  • the image acquisition units 1 and 2 capture individual images of the vehicle F, its surroundings U and the object O1, these individual images being converted into the overall image G by means of an image processing unit (not shown).
  • the image processing unit not shown.
  • Overall image G shows the vehicle F, whose surroundings and the object O1, which may be obstacles or other objects in addition to a person, from a bird's-eye viewpoint from a viewing point.
  • the individual images are converted by the image processing unit based on a projection of the individual images on a virtual reference plane.
  • This virtual reference plane is, in particular, a plane which, at the height of a roadway of the vehicle F, i. H. on the ground, which is a base is arranged.
  • the object 01 which is raised from the base, d. H. protrudes from this, is detected by the image acquisition units 1 and 2 from different perspectives, it can lead to an optically refracted and / or at least partially incomplete representation of the object O1 in the overall image G, if the object O1 in the region of the boundary line L or directly on the latter is located, wherein the boundary line L separates a first individual image area EB1 projected by means of the first image detection unit 1 and onto the reference plane from a second individual image area EB2 projected by means of the second image detection unit 2 and onto the reference plane.
  • a course of the boundary line L1 is predetermined such that the boundary line extends away from the object 01 ,
  • FIG. 2 shows such curves of the boundary line L1 away from the object 01, the boundary line L1 always running in such a way that the object 01 is not cut or touched by it.
  • the position of the object O1 in the surroundings of the vehicle F is first of all determined for such specification of the course of the boundary line L1, this taking place by means of the image acquisition units 1 and 2 and the image processing unit. From this position of the object 01 in the vicinity of the vehicle F and the known Orientation of the image acquisition units 1, 2 is then determined in which position the object 01 is displayed in the overall image G.
  • the individual image areas EB1 and EB2 are generated when they are generated on the basis of FIG.
  • Image processing unit calculated such that the boundary line extends away from the object 01. This variable course of the boundary line L1 is possible because the
  • Image detection units 1, 2 are aligned such that the overlap region between the detection areas is formed, so that in the overlap region, the environment U and the object 01 located therein of both
  • Image acquisition units 1, 2 is detected.
  • the boundary line L1 is formed as a straight line, which is pivoted about its origin in a front corner of the vehicle F that it does not touch the object 01.
  • a tolerance range T1 is formed between the boundary line L1 and the object 01.
  • FIG. 3 shows the overall image G with the vehicle F, its surroundings U and two objects 01, 02, the overall image G being subdivided several times.
  • Frame area EB1 is surrounded.
  • Frame area EB2 is surrounded. In other words, it is changed over the area of the overall image G several times between the input image areas EB1 and EB2.
  • the individual image areas EB1, EB2 are separated from each other by boundary lines L1 to L3, wherein the boundary lines L1 to L3 in turn run such that they do not touch the objects O1, O2 and that between the
  • Boundary lines L1 to L3 and the objects 01, 02 form tolerance ranges T1 to T4.
  • the course of the boundary lines L1 to L3 results in an optimal representation of the objects 01, O2, since these are represented in the perspective of the respective image acquisition unit 1, 2, in which they are unambiguously, error-free and completely recorded.
  • Figure 4 shows a further course of the boundary line L1 between the origin at the front corner of the vehicle F and the image edge of the overall image G.
  • the boundary line L1 is such that it represents a portion of a rectangle, wherein the object O1 in the overall image G above the boundary line is L1 and the
  • Tolerance range T1 is formed between the object 01 and the boundary line L1.
  • the boundary line may alternatively also polygonal run around one or more objects, so that always an optimal and complete representation of the objects based on the overall image G is possible.
  • boundary line L1 is curved such that the first object 01 in the first frame EB1 above the boundary line L1 and the second object 02 below the boundary line L1 in the overall image G extends. Furthermore, the origin of the boundary line L1 is also from the front corner of the vehicle F at the front thereof toward the first one
  • Imager unit 1 offset, so that an altered virtual observation point on the overall image G is created. This achieves a further improvement of the representation of the objects O1, O2. LIST OF REFERENCE NUMBERS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Überwachung einer Umgebung (U) eines Fahrzeugs (F), wobei die Umgebung (U) und in dieser vorhandene Objekte (O1, O2) mittels zumindest einer ersten Bilderfassungseinheit (1) und einer zweiten Bilderfassungseinheit (2), deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst werden, wobei aus mittels der Bilderfassungseinheiten (1, 2) erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild (G) erzeugt wird, welches das Fahrzeug (F) und dessen Umgebung (U) aus einer Vogelperspektive zeigt. Dabei wird in Abhängigkeit von ermittelten Positionen der Objekte (O1, O2) in dem Gesamtbild (G) zwischen einem ersten Einzelbildbereich (EB1) und einem zweiten Einzelbildbereich (EB2) ein Verlauf zumindest einer Grenzlinie (L1 bis L3), die sich von einem Ursprung zum Bildrand des Gesamtbilds erstreckt, derart vorgegeben, dass die Grenzlinie (L1 bis L3) abseits der Objekte (O1, O2) verläuft.

Description

Verfahren zur Überwachung einer Umgebung eines Fahrzeugs
Die Erfindung betrifft ein Verfahren zur Überwachung einer Umgebung eines Fahrzeugs, wobei die Umgebung und in dieser vorhandene Objekte mittels zumindest einer ersten Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst wird, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt.
Fahrzeuge zum Güter- oder Personentransport sind häufig durch große
Fahrzeugabmessungen und/oder eine geringe Übersichtlichkeit gekennzeichnet. Daraus resultiert, dass insbesondere ein Rangieren mit diesen Fahrzeugen für einen Fahrer sehr schwierig ist. Deshalb ist es vorteilhaft, Fahrzeuge und deren Umgebung, insbesondere eine Umgebung hinter oder neben diesem, aus einer Vogelperspektive auf einem
Bildschirm darzustellen, so dass das Fahrzeug und dessen gesamte Umgebung für den Fahrer sichtbar sind.
Aus dem Stand der Technik sind verschiedene Verfahren und Vorrichtungen zu einer derartigen Überwachung und Darstellung einer Umgebung eines Fahrzeugs bekannt, wobei einem Fahrer des Fahrzeugs insbesondere ein Bild des Fahrzeugs und dessen Umgebung aus einer Vogelperspektive ausgegeben wird. Dadurch wird für den Fahrer eine verbesserte Rundumsicht geschaffen, die diesem als Assistenzfunktion und
Unterstützung während des Fahrbetriebs, beispielsweise bei einem Rangieren des Fahrzeugs, dient. Weiterhin können Unfälle vermieden werden, welche sich häufig aufgrund einer schlechten Rundumsicht, insbesondere bei großen und schwer überschaubaren Fahrzeugen, ereignen. Dabei wird häufig ein Gesamtbild mit der Darstellung des Fahrzeugs und dessen Umgebung aus der Vogelperspektive aus mehreren aneinander angrenzenden oder sich überlappenden Bildaufnahmen ermittelt.
Aus der WO 2008/150153 A1 ist ein Verfahren zur Erzeugung eines Panoramablicks bzw. Rundumsicht auf einen Straßenrand bekannt. Dabei werden mit einem
Laserscanner stichprobenartig Laserscandaten erfasst, wobei der Laserscanner an einem Fahrzeug angeordnet ist und jeder der Stichproben Positionsdaten und
Lagebestimmungsdaten zugeordnet sind. Weiterhin wird mittels einer ebenfalls an dem Fahrzeug angeordneten Kamera zumindest eine Bildsequenz erfasst, wobei jedem Bild der Bildsequenz wiederum Positionsdaten und Lagebestimmungsdaten zugeordnet sind. Aus den Laserscandaten wird eine Oberfläche ermittelt, wobei eine Position der
Oberfläche in Abhängigkeit von den Laserscandaten zugeordneten Positionsdaten und Lagebestimmungsdaten ermittelt wird. Der Panoramablick bzw. eine Rundumsicht wird für die besagte Oberfläche aus zumindest einer Bildsequenz in Abhängigkeit der Position dieser und der jedem der Bilder zugeordneten Positionsdaten und
Lagebestimmungsdaten bestimmt.
Weiterhin offenbart die US 2006/0192660 A1 eine Vorrichtung zur Anzeige einer
Umgebung eines Fahrzeugs. Die Vorrichtung umfasst eine erste Erfassungseinheit, welche an einer Seite des Fahrzeugs angeordnet und zur Erfassung eines ersten Bilds vorgesehen ist. Zusätzlich ist eine zweite Erfassungseinheit zur Erfassung eines zweiten Bilds vorgesehen, wobei die zweite Erfassungseinheit relativ zur ersten Erfassungseinheit vor dieser angeordnet ist. Ferner ist zur Anzeige der erfassten Bilder und zur Anzeige der Umgebung des Fahrzeugs eine Anzeigeeinheit vorgesehen. Mittels einer
Bildverarbeitungseinheit wird eine Grenzlinie zwischen dem ersten und dem zweiten Bild in einem aus diesen Bildern gebildeten Gesamtbild derart definiert, dass die Grenzlinie identisch mit einer geraden Linie ist, welche eine Position der ersten Kamera und eine Position der zweiten Kamera miteinander verbindet.
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Überwachung einer Umgebung eines Fahrzeugs anzugeben.
Die Aufgabe wird erfindungsgemäß mit einem Verfahren gelöst, welches die im
Anspruch 1 angegebenen Merkmale aufweist.
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche. Bei dem Verfahren zur Überwachung einer Umgebung eines Fahrzeugs werden die Umgebung und in dieser vorhandene Objekte mittels zumindest einer ersten
Bilderfassungseinheit und einer zweiten Bilderfassungseinheit, deren Erfassungsbereiche sich zumindest teilweise überlappen und einen Überlappungsbereich bilden, erfasst, wobei aus mittels der Bilderfassungseinheiten erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird, welches das Fahrzeug und dessen Umgebung aus einer Vogelperspektive zeigt.
Um in dem Überlappungsbereich befindliche Objekte, beispielsweise von einer
Grundfläche erhabene Objekte wie Personen, Hindernisse oder andere Gegenstände insbesondere auch bei Fahrzeugen mit einer großen Fahrzeuglänge sicher, vollständig und in ihrer realen Form auf dem Gesamtbild darzustellen, wird erfindungsgemäß in Abhängigkeit von ermittelten Positionen der Objekte in dem Gesamtbild zwischen einem ersten Einzelbildbereich und einem zweiten Einzelbildbereich ein Verlauf einer Grenzlinie, die sich von einem Ursprung zum Bildrand des Gesamtbilds erstreckt, derart variabel vorgegeben, dass die Grenzlinie abseits der Objekte verläuft.
Dabei wirken sich in besonders vorteilhafter Weise beim Zusammensetzen der aneinander angrenzenden Einzelbildbereiche zu dem Gesamtbild in der Vogelperspektive in den Überlappungsbereichen der Bilderfassungseinheiten auftretende Diskontinuitäten, insbesondere Verzerrungen und/oder Sprungstellen, welche zu einer gebrochenen und nicht vollständigen Darstellung der Objekte führen können, nicht negativ auf die
Darstellung der Objekte in dem Gesamtbild aus. Insbesondere wird die unvollständige und nicht kontinuierliche Darstellung der Objekte auf dem Gesamtbild vermieden, da aufgrund der variablen Vorgabe der Grenzlinie mit einem derartigen Verlauf, dass diese die Objekte nicht berührt, eine optimale, d. h. vollständige und kontinuierliche optische Darstellung der Objekte auf dem Gesamtbild realisiert wird.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
Dabei zeigen:
Fig. 1 schematisch einen Ausschnitt eines Gesamtbilds nach dem Stand der
Technik, welches ein Fahrzeug, dessen Umgebung und ein Objekt aus einer Vogelperspektive zeigt, Fig. 2 schematisch den Ausschnitt eines Gesamtbilds mit einer variabel vorgebbaren Grenzlinie zwischen einem ersten und einem zweiten Einzelbildbereich,
Fig. 3 schematisch eine Unterteilung des Gesamtbilds in mehrere
Einzelbildbereiche,
Fig. 4 schematisch einen rechteckigen Verlauf der Grenzlinie zwischen dem
ersten Einzelbildbereich und dem zweiten Einzelbildbereich des
Gesamtbilds, und
Fig. 5 schematisch einen kurvenförmigen Verlauf der Grenzlinie zwischen dem ersten Einzelbildbereich und dem zweiten Einzelbildbereich des
Gesamtbilds.
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
In Figur 1 ist ein Ausschnitt eines Gesamtbilds G nach dem Stand der Technik dargestellt, welches ein Fahrzeug F, dessen Umgebung U und ein Objekt 01 aus einer Vogelperspektive zeigt.
Am vorderen Ende des Fahrzeugs F ist eine erste Bilderfassungseinheit 1 und an der rechten Seite des Fahrzeugs F ist eine zweite Bilderfassungseinheit 2 angeordnet, mittels welchem das Fahrzeug F und dessen Umgebung U erfassbar sind. Dabei überlappen sich Erfassungsbereiche der Bilderfassungseinheiten 1 und 2 zumindest teilweise.
Die Bilderfassungseinheiten 1 und 2 sind vorzugsweise um Kameras, welche jeweils einen großen Erfassungsbereich aufweisen. Dabei kann es sich neben herkömmlichen Kameras insbesondere um omnidirektionale Kameras handeln. Diese können
beispielsweise mosaikbasierte Kameras, rotierende Kameras, Kameras mit speziellen Weitwinkellinsen, so genannten Fischaugen-Linsen, sein oder auf einem katadioptrischen System basieren. Die Bilderfassungseinheiten 1 und 2 erfassen Einzelbilder des Fahrzeugs F, dessen Umgebung U und das Objekts O1 , wobei diese Einzelbilder mittels einer nicht näher dargestellten Bildverarbeitungseinheit in das Gesamtbild G umgewandelt. Das
Gesamtbild G zeigt das Fahrzeug F, dessen Umgebung und das Objekt O1 , bei welchem es sich neben einer Person auch um Hindernisse oder andere Gegenstände handeln kann, aus der Vogelperspektive von einem Betrachtungspunkt aus. Die Einzelbilder werden mittels der Bildverarbeitungseinheit anhand einer Projektion der Einzelbilder auf eine virtuelle Referenzebene umgewandelt.
Bei dieser virtuellen Referenzebene handelt es sich insbesondere um eine Ebene, welche auf Höhe einer Fahrbahn des Fahrzeugs F, d. h. auf dem Boden, der eine Grundfläche darstellt, angeordnet ist.
Da das Objekt 01 , welches von der Grundfläche erhaben ist, d. h. aus dieser herausragt, von den Bilderfassungseinheiten 1 und 2 aus unterschiedlichen Perspektiven erfasst wird, kann es zu einer optisch gebrochenen und/oder zumindest teilweise unvollständigen Darstellung des Objekts O1 im Gesamtbild G kommen, wenn sich das Objekt O1 im Bereich der Grenzlinie L oder direkt auf dieser befindet, wobei die Grenzlinie L einen mittels der ersten Bilderfassungseinheit 1 und auf die Referenzebene projizierte ersten Einzelbildbereich EB1 von einem mittels der zweiten Bilderfassungseinheit 2 und auf die Referenzebene projizierten zweiten Einzelbildbereich EB2 trennt.
Um die optisch gebrochene und/oder zumindest teilweise unvollständige Darstellung des Objekts 01 im Gesamtbild G zu vermeiden, wird in Abhängigkeit von einer ermittelten Position des Objekts 01 in dem Gesamtbild G ein Verlauf der Grenzlinie L1 derart vorgegeben, dass die Grenzlinie abseits des Objekts 01 verläuft.
In Figur 2 sind derartige Verläufe der Grenzlinie L1 abseits des Objekts 01 dargestellt, wobei die Grenzlinie L1 stets derart verläuft, dass das Objekt 01 nicht von dieser geschnitten oder berührt wird.
Zu einer derartigen Vorgabe des Verlaufs der Grenzlinie L1 wird zunächst die Position des Objekts O1 in der Umgebung des Fahrzeugs F ermittelt, wobei dies mittels der Bilderfassungseinheiten 1 und 2 und der Bildverarbeitungseinheit erfolgt. Aus dieser Position des Objekts 01 in der Umgebung des Fahrzeugs F und der bekannten Ausrichtung der Bilderfassungseinheiten 1 , 2 wird anschließend ermittelt, in welcher Position das Objekt 01 in dem Gesamtbild G dargestellt wird.
In Abhängigkeit von dieser Position des Objekts 01 in dem Gesamtbild G werden die Einzelbildbereiche EB1 und EB2 bei deren Erzeugung anhand der
Bildverarbeitungseinheit derart berechnet, dass die Grenzlinie abseits des Objekts 01 verläuft. Dieser variable Verlauf der Grenzlinie L1 ist dadurch möglich, dass die
Bilderfassungseinheiten 1 , 2 derart ausgerichtet sind, dass der Überlappungsbereich zwischen den Erfassungsbereichen entsteht, so dass in dem Überlappungsbereich die Umgebung U und das in dieser befindliche Objekt 01 von beiden
Bilderfassungseinheiten 1 , 2 erfasst wird.
Im dargestellten Ausführungsbeispiel ist die Grenzlinie L1 als Gerade ausgebildet, welche derart um ihren Ursprung in einer vorderen Ecke des Fahrzeugs F geschwenkt ist, dass diese das Objekt 01 nicht berührt.
Zusätzlich ist zwischen der Grenzlinie L1 und dem Objekt 01 ein Toleranzbereich T1 ausgebildet. Somit ist stets, insbesondere auch bei Bewegungen des Fahrzeugs F und des Objekts O, eine optimale Darstellung des Fahrzeugs F, dessen Umgebung U und des Objekts 01 auf dem Gesamtbild G sichergestellt.
Figur 3 zeigt das Gesamtbild G mit dem Fahrzeug F, dessen Umgebung U und zwei Objekte 01 , 02, wobei das Gesamtbild G mehrfach unterteilt ist. Um beide
Objekte 01 , O2 fehlerfrei auf dem Gesamtbild G darzustellen, ist der erste
Einzelbildbereich EB1 auf dem Gesamtbild G derart durch den zweiten
Einzelbildbereich EB2 unterbrochen dargestellt, dass das Objekt O2 in dem zweiten Einzelbildbereich EB2 dargestellt wird, jedoch randseitig von dem ersten
Einzelbildbereich EB1 umgeben ist.
Zusätzlich ist auch der zweite Einzelbildbereich EB2 derart durch den ersten
Einzelbildbereich EB1 unterbrochen dargestellt, dass das erste Objekt O1 in dem ersten Einzelbildbereich E1 dargestellt wird, jedoch randseitig von dem zweiten
Einzelbildbereich EB2 umgeben ist. Mit anderen Worten: Es wird über die Fläche des Gesamtbilds G mehrfach zwischen den Eingabebildbereichen EB1 und EB2 gewechselt.
Die Einzelbildbereiche EB1 , EB2 sind dabei jeweils durch Grenzlinien L1 bis L3 voneinander getrennt, wobei die Grenzlinien L1 bis L3 wiederum derart verlaufen, dass diese die Objekte O1 , O2 nicht berühren und dass sich zwischen den
Grenzlinien L1 bis L3 und den Objekten 01 , 02 Toleranzbereiche T1 bis T4 ausbilden. Aus dem Verlauf der Grenzlinien L1 bis L3 resultiert eine optimale Darstellung der Objekte 01 , O2, da diese in der Perspektive der jeweiligen Bilderfassungseinheit 1 , 2 dargestellt werden, in welcher diese eindeutig, fehlerfrei und vollständig erfasst sind.
Figur 4 zeigt einen weiteren Verlauf der Grenzlinie L1 zwischen dem Ursprung an der vorderen Ecke des Fahrzeugs F und dem Bildrand des Gesamtbilds G. Dabei verläuft die Grenzlinie L1 derart, dass sie einen Teilabschnitt eines Rechtecks darstellt, wobei sich das Objekt O1 im Gesamtbild G oberhalb der Grenzlinie L1 befindet und der
Toleranzbereich T1 zwischen dem Objekt 01 und der Grenzlinie L1 ausgebildet ist.
In nicht näher dargestellten Weiterbildungen kann die Grenzlinie alternativ auch polygonartig um ein oder mehrere Objekte verlaufen, so dass stets eine optimale und vollständige Darstellung der Objekte anhand des Gesamtbilds G möglich ist.
In Figur 5 ist ein Gesamtbild G dargestellt, welches das Fahrzeug F, dessen
Umgebung U und die Objekte 01 und 02 zeigt, wobei die Grenzlinie L1 derart kurvenförmig verläuft, dass das erste Objekt 01 in dem ersten Einzelbildbereich EB1 oberhalb der Grenzlinie L1 und das zweite Objekt 02 unterhalb der Grenzlinie L1 in dem Gesamtbild G verläuft. Weiterhin ist auch der Ursprung der Grenzlinie L1 von der vorderen Ecke des Fahrzeugs F an dessen Front in Richtung der ersten
Bilderfassungseinheit 1 versetzt, so dass ein veränderter virtueller Beobachtungspunkt auf das Gesamtbild G entsteht. Dadurch wird eine weitere Verbesserung der Darstellung der Objekte O1 , O2 erzielt. Bezugszeichenliste
1 Bilderfassungseinheit
2 Bilderfassungseinheit
EB1. EB2 Einzelbildbereich
F Fahrzeug
G Gesamtbild
L1 bis L3 Grenzlinie
01 , 02 Objekt
T1 bis T4 Toleranzbereich
U Umgebung

Claims

Patentansprüche
1. Verfahren zur Überwachung einer Umgebung (U) eines Fahrzeugs (F), wobei die Umgebung (U) und in dieser vorhandene Objekte (O1 , O2) mittels zumindest einer ersten Bilderfassungseinheit (1) und einer zweiten Bilderfassungseinheit (2), deren Erfassungsbereiche sich zumindest teilweise überlappen und einen
Überlappungsbereich bilden, erfasst werden, wobei aus mittels der
Bilderfassungseinheiten (1 , 2) erfassten Einzelbildern anhand einer
Bildverarbeitungseinheit ein Gesamtbild (G) erzeugt wird, welches das Fahrzeug (F) und dessen Umgebung (U) aus einer Vogelperspektive zeigt,
dadurch gekennzeichnet, dass in Abhängigkeit von ermittelten Positionen der Objekte (O1 , O2) in dem Gesamtbild (G) zwischen einem ersten
Einzelbildbereich (EB1) und einem zweiten Einzelbildbereich (EB2) ein Verlauf zumindest einer Grenzlinie (L1 bis L3), die sich von einem Ursprung zum Bildrand des Gesamtbilds (G) erstreckt, derart vorgegeben wird, dass die
Grenzlinie (L1 bis L3) abseits der Objekte (01 , 02) verläuft.
2. Verfahren nach Anspruch 1 ,
dadurch gekennzeichnet, dass die Grenzlinie (L1 bis L3) derart vorgegeben wird, dass zwischen der Grenzlinie (L1 bis L3) und dem jeweiligen Objekt (01 , O2) ein Toleranzbereich (T1 bis T3) entsteht.
3. Verfahren nach Anspruch 1 oder 2,
dadurch gekennzeichnet, dass ein virtueller Beobachtungspunkt auf das
Gesamtbild (G) in Abhängigkeit von den Positionen der Objekte (01 , 02) variabel vorgegeben wird. Verfahren nach einem der vorhergehenden Ansprüche,
dadurch gekennzeichnet, dass das Gesamtbild (G) in Abhängigkeit von den Positionen der Objekte (01 , O2) derart unterteilt wird, dass ein
Einzelbildbereich (EB1 , EB2) einer der Bilderfassungseinheiten (1 , 2) durch zumindest einen Einzelbildbereich (EB1 , EB2) der jeweils anderen
Bilderfassungseinheit (1 , 2) unterbrochen dargestellt wird.
PCT/EP2010/004415 2009-08-05 2010-07-20 Verfahren zur überwachung einer umgebung eines fahrzeugs WO2011015283A1 (de)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201080034588.2A CN102473239B (zh) 2009-08-05 2010-07-20 用于监控车辆的周围环境的方法
EP10737508A EP2462538A1 (de) 2009-08-05 2010-07-20 Verfahren zur überwachung einer umgebung eines fahrzeugs
US13/384,814 US8750572B2 (en) 2009-08-05 2010-07-20 Method for monitoring an environment of a vehicle
JP2012523219A JP5667629B2 (ja) 2009-08-05 2010-07-20 車両周辺のモニタ方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102009036200.2 2009-08-05
DE102009036200A DE102009036200A1 (de) 2009-08-05 2009-08-05 Verfahren zur Überwachung einer Umgebung eines Fahrzeugs

Publications (1)

Publication Number Publication Date
WO2011015283A1 true WO2011015283A1 (de) 2011-02-10

Family

ID=42063172

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2010/004415 WO2011015283A1 (de) 2009-08-05 2010-07-20 Verfahren zur überwachung einer umgebung eines fahrzeugs

Country Status (6)

Country Link
US (1) US8750572B2 (de)
EP (1) EP2462538A1 (de)
JP (1) JP5667629B2 (de)
CN (1) CN102473239B (de)
DE (1) DE102009036200A1 (de)
WO (1) WO2011015283A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103782591B (zh) * 2011-08-26 2017-02-15 松下知识产权经营株式会社 驾驶辅助装置
EP3106349B1 (de) 2015-06-16 2018-05-09 MEKRA LANG GmbH & Co. KG Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9147260B2 (en) 2010-12-20 2015-09-29 International Business Machines Corporation Detection and tracking of moving objects
DE102011082881A1 (de) 2011-09-16 2013-03-21 Bayerische Motoren Werke Aktiengesellschaft Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
DE102011088332B4 (de) 2011-12-13 2021-09-02 Robert Bosch Gmbh Verfahren zur Verbesserung der Objektdetektion bei Multikamerasystemen
DE102013015625B3 (de) * 2013-09-19 2014-12-18 Mekra Lang Gmbh & Co. Kg Sichtsystem für ein Kraftfahrzeug
JPWO2015129280A1 (ja) * 2014-02-26 2017-03-30 京セラ株式会社 画像処理装置および画像処理方法
KR102118066B1 (ko) * 2014-08-20 2020-06-03 현대모비스 주식회사 주행 안전을 위한 차량 제어방법
EP3029601B1 (de) * 2014-12-04 2018-09-19 Conti Temic microelectronic GmbH Verfahren und Vorrichtung zur Erhöhung der Sichtbarkeit von Hindernissen
DE102015204213B4 (de) 2015-03-10 2023-07-06 Robert Bosch Gmbh Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
CN108352053B (zh) * 2015-09-10 2022-04-15 克诺尔商用车制动系统有限公司 用于环绕监视系统的图像合成器
EP3144162B1 (de) 2015-09-17 2018-07-25 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Vorrichtung und verfahren zur steuerung eines druckes in mindestens einem luftreifen eines fahrzeuges
WO2017212929A1 (ja) * 2016-06-08 2017-12-14 ソニー株式会社 撮像制御装置および方法、並びに車両
DE102016117518A1 (de) 2016-09-16 2018-03-22 Connaught Electronics Ltd. Angepasstes Zusammenfügen von Einzelbildern zu einem Gesamtbild in einem Kamerasystem für ein Kraftfahrzeug
DE102017201000A1 (de) * 2017-01-23 2018-07-26 Robert Bosch Gmbh Verfahren zum Kombinieren einer Vielzahl von Kamerabildern
JP6835004B2 (ja) * 2018-02-09 2021-02-24 株式会社デンソー 画像生成装置
JP2019151304A (ja) * 2018-03-06 2019-09-12 アイシン精機株式会社 周辺監視装置
JP7203205B2 (ja) 2019-04-18 2023-01-12 三菱電機株式会社 車両周辺画像生成装置、車両周辺表示システム、及び車両周辺表示方法
JP7379112B2 (ja) * 2019-11-21 2023-11-14 キヤノン株式会社 光学系及びそれを備える撮像装置
KR102281609B1 (ko) 2020-01-16 2021-07-29 현대모비스 주식회사 어라운드뷰 합성 시스템 및 방법
JPWO2022074848A1 (de) * 2020-10-09 2022-04-14

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1696669A1 (de) * 2005-02-24 2006-08-30 Aisin Seiki Kabushiki Kaisha Gerät zur Fahrzeugumgebungsbeobachtung
WO2008150153A1 (en) 2007-06-08 2008-12-11 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view
JP3714116B2 (ja) * 1999-08-09 2005-11-09 トヨタ自動車株式会社 操縦安定性制御装置
EP1303140A4 (de) * 2000-07-19 2007-01-17 Matsushita Electric Ind Co Ltd Überwachungssystem
KR100866450B1 (ko) 2001-10-15 2008-10-31 파나소닉 주식회사 차량 주위 감시 장치 및 그 조정 방법
JP4639753B2 (ja) 2004-10-25 2011-02-23 日産自動車株式会社 運転支援装置
US7423521B2 (en) * 2004-12-07 2008-09-09 Kabushiki Kaisha Honda Lock Vehicular visual assistance system
JP4548129B2 (ja) * 2005-01-26 2010-09-22 トヨタ自動車株式会社 電動車両の駆動装置
US7403101B2 (en) * 2005-02-09 2008-07-22 General Motors Corporation Collision avoidance of unattended vehicles
JP4432801B2 (ja) * 2005-03-02 2010-03-17 株式会社デンソー 運転支援装置
JP4956915B2 (ja) * 2005-05-20 2012-06-20 日産自動車株式会社 映像表示装置及び映像表示方法
JP4662832B2 (ja) 2005-09-26 2011-03-30 アルパイン株式会社 車両用画像表示装置
JP4883977B2 (ja) * 2005-10-05 2012-02-22 アルパイン株式会社 車両用画像表示装置
JP4606322B2 (ja) 2005-12-27 2011-01-05 アルパイン株式会社 車両運転支援装置
DE102006003538B3 (de) * 2006-01-24 2007-07-19 Daimlerchrysler Ag Verfahren zum Zusammenfügen mehrerer Bildaufnahmen zu einem Gesamtbild in der Vogelperspektive
JP4254887B2 (ja) * 2006-07-06 2009-04-15 日産自動車株式会社 車両用画像表示システム
JP4315968B2 (ja) * 2006-08-21 2009-08-19 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
JP4248570B2 (ja) 2006-08-21 2009-04-02 三洋電機株式会社 画像処理装置並びに視界支援装置及び方法
JP2008187566A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd カメラ校正装置及び方法並びに車両
JP4969269B2 (ja) * 2007-02-21 2012-07-04 アルパイン株式会社 画像処理装置
JP5182042B2 (ja) * 2008-11-28 2013-04-10 富士通株式会社 画像処理装置、画像処理方法及びコンピュータプログラム
TWI392366B (zh) * 2009-12-31 2013-04-01 Ind Tech Res Inst 全周鳥瞰影像距離介面產生方法與系統

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1696669A1 (de) * 2005-02-24 2006-08-30 Aisin Seiki Kabushiki Kaisha Gerät zur Fahrzeugumgebungsbeobachtung
US20060192660A1 (en) 2005-02-24 2006-08-31 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
WO2008150153A1 (en) 2007-06-08 2008-12-11 Tele Atlas B.V. Method of and apparatus for producing a multi-viewpoint panorama

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVIS J: "Mosaics of scenes with moving objects", IEEE COMPUTER SOCIETY CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, 1998. PROCEEDINGS. SANTA BARBARA, CA, USA 23-25 JUNE 1998,, 23 June 1998 (1998-06-23), LOS ALAMITOS, CA, USA,IEEE COMPUT. SOC, US, pages 354 - 360, XP010291602, ISBN: 978-0-8186-8497-5, DOI: 10.1109/CVPR.1998.698630 *
H. AGHAJAN, A. CAVALLARO: "Multi-Camera Networks Principles and Applications", 1 January 2009, ELSEVIER INC., United States, XP002605584 *
SEVKET GUMUSTEKIN: "An Introduction to Image Mosaicing", July 1999 (1999-07-01), pages 1 - 10, XP002605772, Retrieved from the Internet <URL:http://web.iyte.edu.tr/eee/sevgum/research/mosaicing99/> [retrieved on 20101019] *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103782591B (zh) * 2011-08-26 2017-02-15 松下知识产权经营株式会社 驾驶辅助装置
EP3106349B1 (de) 2015-06-16 2018-05-09 MEKRA LANG GmbH & Co. KG Sichtsystem für ein nutzfahrzeug zur darstellung von gesetzlich vorgeschriebenen sichtfeldern eines hauptspiegels und eines weitwinkelspiegels

Also Published As

Publication number Publication date
DE102009036200A1 (de) 2010-05-06
EP2462538A1 (de) 2012-06-13
JP2013501280A (ja) 2013-01-10
CN102473239A (zh) 2012-05-23
CN102473239B (zh) 2014-09-24
JP5667629B2 (ja) 2015-02-12
US20120121136A1 (en) 2012-05-17
US8750572B2 (en) 2014-06-10

Similar Documents

Publication Publication Date Title
WO2011015283A1 (de) Verfahren zur überwachung einer umgebung eines fahrzeugs
DE102012001835B4 (de) Sichtsystem für ein Nutzfahrzeug zur Darstellung von gesetzlich vorgeschriebenen Sichtfeldern eines Hauptspiegels und eines Weitwinkelspiegels
EP3281178A1 (de) Verfahren zur darstellung einer fahrzeugumgebung eines fahrzeuges
WO2013087362A1 (de) Verfahren zur verbesserung der objektdetektion bei multikamerasystemen
WO2014094941A1 (de) Kraftfahrzeug mit kamera-monitor-system
WO2010025792A1 (de) Verfahren und vorrichtung zur überwachung einer umgebung eines fahrzeuges
WO2018108213A1 (de) Rundumsichtsystem für ein fahrzeug
DE102008035428B4 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102017205630A1 (de) Kameravorrichtung und Verfahren zur Erfassung eines Umgebungsbereichs eines Fahrzeugs
DE102014012250B4 (de) Verfahren zur Bilderverarbeitung und -darstellung
DE102016124747A1 (de) Erkennen eines erhabenen Objekts anhand perspektivischer Bilder
DE102007025147A1 (de) System zur Spurverlassenswarnung und/oder Spurhaltefunktion
DE102008030104A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE102017123228A1 (de) Verfahren zum Klassifizieren eines Objektpunkts als statisch oder dynamisch, Fahrerassistenzsystem und Kraftfahrzeug
DE102006037600A1 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102015204213A1 (de) Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
EP3833576B1 (de) Kameraüberwachungssystem
EP3234907A1 (de) Kamerasystem und verfahren zum visualisieren mindestens eines fahrzeugumfeldbereiches eines fahrzeugumfeldes eines fahrzeuges
DE102017201000A1 (de) Verfahren zum Kombinieren einer Vielzahl von Kamerabildern
DE102011116771A1 (de) Verfahren zum Anzeigen von Bildinformationen auf einer Anzeigeeinheit eines Fahrzeugs sowie Fahrerassistenzeinrichtung zum Durchführen eines derartigen Verfahrens
DE102015006637A1 (de) Verfahren zur Entzerrung von Bildern
DE102012025463A1 (de) Verfahren zum Bestimmen eines Bewegungsparameters eines Kraftfahrzeugs durch Auffinden von invarianten Bildregionen in Bildern einer Kamera des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102012005468B4 (de) Verfahren und Vorrichtung zur Darstellung einer Signallichtinformation für ein Fahrzeug
DE102017206175A1 (de) Surround-View-System für ein Fahrzeug
DE102017000454B4 (de) Verfahren und System zum Kalibrieren von Bilddaten zweier Kameras

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080034588.2

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10737508

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010737508

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13384814

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2012523219

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE