WO2019072451A1 - Verfahren zum verarbeiten von bildern - Google Patents

Verfahren zum verarbeiten von bildern Download PDF

Info

Publication number
WO2019072451A1
WO2019072451A1 PCT/EP2018/073344 EP2018073344W WO2019072451A1 WO 2019072451 A1 WO2019072451 A1 WO 2019072451A1 EP 2018073344 W EP2018073344 W EP 2018073344W WO 2019072451 A1 WO2019072451 A1 WO 2019072451A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image area
areas
area
examination
Prior art date
Application number
PCT/EP2018/073344
Other languages
English (en)
French (fr)
Inventor
Agnes SWADZBA
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Publication of WO2019072451A1 publication Critical patent/WO2019072451A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to a method of processing images. Moreover, the invention relates to an associated computer program product and a control device for carrying out such a method.
  • Camera systems are known in the art in which multiple cameras capture the same area of an environment to allow algorithmic scene interpretation. Such systems are often in
  • Integrated vehicles to create all-round visibility around the vehicle Current algorithms use camera-captured images of an environment to generate image information and related information about the environment. If the system is used in vehicles, information about the vehicle itself can also be generated. The processing of the images can be based on individual images or a comparison of temporally and spatially differently recorded images. A prerequisite for the realization of functions on spatially displaced images, such as in particular stereo flow and / or brightness harmonization and
  • Color harmonization of two adjacent cameras of a surround-view system is the selection of suitable image areas.
  • the functions rely on the fact that these areas contain identical scene content if possible.
  • a static image area is manually set per camera.
  • these static image areas have the problem that in many scenarios, by covering distant objects by nearby objects in parts or completely divergent scene contents are present. This leads in many scenarios to degradation of the algorithms and functions of the system. Disclosure of the invention
  • the method according to the invention makes it possible to recognize those image areas which represent the same scene content. Further processing of the images can thus be carried out based on these image areas, whereby known algorithms and functions can be used without the risk of degrading said algorithms and functions.
  • the inventive method comprises the following steps: First, a recording of an environment with at least two takes place at different
  • first image and the second image thus show the environment from different perspectives. Subsequently, a determination is made of first image areas in the first image and second image areas in the second image, which image the same predefined examination areas of the environment.
  • first image area and second image area representing the same scene content.
  • examination areas in the environment of the cameras in absolute world coordinates defined. These examination areas thus represent specific areas directly in the surroundings. These concrete areas are then projected and / or converted into the image plane of the individual cameras. This means that corresponding sections are found both in the first image and in the second image, on which the respective examination region of the environment is depicted. In this way, the first image areas and the second image areas can be determined.
  • the determination of the first and second image areas is not yet meaningful with regard to the question whether in the first image areas and the second
  • Image areas the same scene content is shown.
  • an obstacle can be arranged in front of one of the cameras that obscures objects behind it. This obstacle, however, may not be visible from the other camera, for example.
  • two image areas indicate the same scene content when all the objects in the one
  • Image area are also visible in the other image area. It is thus possible to recognize areas with identical scene content in order to subsequent algorithms for further processing the images said pairs of first image area and second image area to apply, whereby said algorithms can be used very effectively and reliably.
  • the dependent claims have preferred developments of the invention for
  • the first image area and the second image area are determined on the basis of an extrinsic calibration and / or intrinsic calibration of the cameras. Said calibration of the cameras determines which areas of the environment are displayed on soft areas of the images. Thus, it can also be determined easily and with little effort on the basis of said calibration, on soft image areas
  • Inspection area is used as a basis for the image areas, regardless of a viewing angle and / or projection properties of the receiving camera.
  • the examination areas can be selected independently of the cameras.
  • the examination areas can be selected such that they are optimal for a subsequent further processing of the images.
  • the method is applicable to any number of cameras as long as two cameras always display overlapping areas of the environment. Should be for
  • the above-described step of recognizing comprises the following sub-steps: First, first image areas and second
  • Grouped image areas to pairs of a respective first image area and a second image area, wherein each of the first image area and the respective second image area depict the same examination area of the environment.
  • each first image area and each image area of a pair is coded by means of a descriptor.
  • the coding by means of descriptors transforms the respective image regions in a descriptor space. Within this descriptor space, the descriptor distance can be determined simply and with little effort. Thus, such pairs of first image area and second can be easily and effortlessly
  • the descriptor is advantageously such a descriptor which can withstand changes of illumination in the image and distortions due to the
  • Image area and / or second image area based on gradient histograms or binary comparison operators with consideration of the projection change due to changes in viewing angle.
  • descriptors are known, for example, as "SIFT,” “SURF,” or “MAIL,” as known in the art
  • This image from the predefined perspective, in particular the bird's-eye view is calculated from the first image and the second image.
  • a harmonization of the first image and the second image is necessary. Such harmonization is
  • a color harmonization and / or brightness harmonization which is to be done so that in the resulting image from the predefined perspective, in particular bird's eye view, no or almost no visible boundaries between the first image and the second image arise.
  • harmonizations are known in particular from the prior art. It is also known that such harmonizations fail when applied to image areas that do not have the same scene content represent.
  • the harmonization of the first image and the second image takes place on the basis of such pairs of the first image area and the second image area, which in the step of the recognition are the same
  • the examination areas are thus those areas of the environment which are relevant for assembling the individual pictures to the bird's-eye view. However, depending on the scene, a different pair of first image area and second
  • Image areas that represent the same scene content are significantly improved because even individual objects present in one image area but not in another image area will result in a significant reduction in the quality of harmonization.
  • dynamic detection of pairs from the first image area and the second image area with the same scene content always identifies those image areas that reliably represent the same scene content.
  • Correspondent search of corresponding pixels on the first image and the second image is performed. Such a correspondence search is particularly necessary if image processing methods such as stereo flow, structure-from-motion, object tracking or the like should be performed.
  • a major challenge for correspondence search is the
  • Correspondence search is performed only in such pairs of first image area and second image area that were recognized in the step of recognizing as the same scene content performing. This efficient pre-processing of the images makes it possible to apply the correspondence search method only to suitable image areas. This helps in particular, the effort of
  • Examination areas thus represent a grid that has an increasing distance to the cameras.
  • the invention also relates to a computer program configured to carry out the method as described above.
  • the computer program is a computer program product comprising instructions that, when executed on a processor of a computing device, cause the processor to perform the steps of the method as described above.
  • the processor of the computing device is in particular a processor, particularly advantageously one
  • Microprocessor a control device, in particular a control device of a vehicle.
  • the invention also relates to a machine-readable storage medium.
  • the computer program is stored on the storage medium as described above.
  • the controller is
  • control device of a vehicle in particular a control device of a vehicle.
  • the controller is configured to perform the method as described above. In particular, that is
  • FIG. 1 is a schematic representation of a vehicle with a control device according to an embodiment of the invention, a schematic representation of the flow of the method according to an embodiment of the invention, a schematic representation of descriptors of a first alternative, in the method according to the embodiment of the invention a schematic representation of descriptors of a second alternative, which are used in carrying out the method according to the exemplary embodiment, a schematic representation of examination areas according to a first alternative of the method according to the embodiment of the invention, a first schematic representation of images in the examination areas according to the first alternative of the method according to the embodiment of the invention,
  • Figure 7 is a second schematic representation of images in the
  • FIG. 8 shows a schematic illustration of examination areas according to a second alternative of the method according to the exemplary embodiment of the invention
  • Figure 9 is a schematic representation of images in the
  • Figure 1 shows schematically a vehicle 18 comprising a plurality of
  • the control unit 1 is designed to capture images of the surroundings of the vehicle 18 by means of the camera 2.
  • the controller 1 is for performing an image processing method according to an embodiment of the invention.
  • FIGS. 2 to 9 reference is made by way of example to two cameras 2, to a camera 2 pointing to the front and to a right side of the vehicle 18. These two cameras 2 take partially overlapping images of the surroundings of the vehicle 18.
  • FIG. 2 schematically shows a sequence of the method according to FIG.
  • Embodiment of the invention In the process, 2 images 3, 4 of the surroundings are recorded by means of the cameras. Thus, a first image is 3 and a second
  • Examination areas 1 1, 12, 13 are defined in the surroundings (see FIG. 5), to which corresponding first image areas 5, 6, 7 and second image areas 8, 9, 10 can be found.
  • first image areas 5, 6, 7 and second image areas 8, 9, 10 have the same scene content, since they are partially obscured by obstacles.
  • a first first image area 6 and a first second image area 8 have identical scene contents.
  • a second first image area 6 and a second second image area 9 as well as a third first image area 7 and a third second image area 10 have different scene contents.
  • descriptors 16 are used.
  • coding takes place from the first image regions 5, 6, 7 and the second image regions 8, 9, 10 in a descriptor space 17.
  • this abstract description of the first image regions 5, 6, 7 and second image regions 8, 9, 10 can be in a safe and easy way determine whether the respective image areas 5, 6, 7, 8, 9, 10 have identical scene contents.
  • the associated image areas 5, 6, 7, 8, 9, 10 are recognized as representing the same scene content. In the example shown in FIG. 2, this is the case for the first first image area 5 and the first second image area 8.
  • FIG. 3 shows the use of projection-dependent SIFT descriptors.
  • FIG. 4 shows the use of
  • a SURF descriptor can also be used.
  • a SIFT Descriptor 14 or a SURF Descriptor are descriptors based on gradient histograms.
  • the BRIEF descriptor 15 is one such descriptor based on binary comparison operations. In any case, the descriptors 14, 15, 16 are invariant to changes in illumination in the image and distortions due to the projection characteristics of the cameras 2. It's just the projection change by a
  • Descriptor space 17 These descriptions may then be used to determine for area pairs whether they contain equal scene content or diverge due to coverage.
  • FIGS. 5 to 7 show a first application of the method according to the exemplary embodiment of the invention.
  • FIG. 5 shows how, with respect to the vehicle 18 and thus with respect to the cameras 2, a first one
  • Examination area 1 1 a second examination area 12 and a third examination area 13 are defined. These examination areas 1 1, 12, 13 are relevant areas that are required in order to generate a view from a virtual bird's eye view from the images of the cameras 2. For the
  • Generating the bird's eye view is necessary to harmonize the color and brightness of the images taken by the cameras 2. This is basically known from the prior art.
  • FIG. 6 shows a first example. It can be seen that in the first image 3, the first first image area 5 represents the first examination area 11. The second first image area 6 represents the second examination area 12.
  • the third first image area 7 constitutes the third examination area
  • a first second image region 8 represents the first examination region 11.
  • a second second image region 9 represents the second examination region 12.
  • a third second image region 10 represents the third examination region 13.
  • Figure 7 shows the same example of another environment.
  • first first image area 5 and the second first image area 8 have the same scene contents.
  • a great advantage of the described method which can be seen in the fact that such examination areas 1 1, 12, 13 are detected depending on the environment, in all images 3, 4 lead to the same scene content.
  • the respective selected image area 5, 6, 7, 8, 9, 10 in the example shown in FIG. 6 is different from the example shown in FIG. If, as in the prior art, one would only specify a static image area, this would, in one or another example, lead to a considerable deterioration in the harmonization of the images 3, 4
  • FIG. 8 shows a second application of the method according to the embodiment of the invention. Again, it is shown in FIG. 8 that different examination areas 1 1, 12, 13 with respect to FIG. 8
  • the examination areas 1 1, 12, 13 represent surfaces which are arranged parallel to one another and are enlarged with increasing distance from the vehicle 18. By way of example, only three are shown in FIG.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Bildern, umfassend die Schritte Aufnehmen einer Umgebung mit zumindest zwei an unterschiedlichen Orten platzierten Kameras (2), um zumindest ein erstes Bild (3) und ein zweites Bild (4) zu erhalten, die die Umgebung aus unterschiedlichen Perspektiven zeigen, Ermitteln von ersten Bildbereichen (5, 6, 7) in dem ersten Bild (3) und von zweiten Bildbereichen (8, 9, 10) in dem zweiten Bild (4), die dieselben vordefinierten Untersuchungsbereiche (11, 12, 13) der Umgebung abbilden, und Erkennen zumindest eines, denselben Szeneninhalt darstellen, Paares aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10).

Description

Beschreibung Titel
Verfahren zum Verarbeiten von Bildern Stand der Technik
Die vorliegende Erfindung betrifft ein Verfahren zum Verarbeiten von Bildern. Außerdem betrifft die Erfindung ein zugehöriges Computerprogrammprodukt und ein Steuergerät zum Ausführen eines derartigen Verfahrens.
Aus dem Stand der Technik sind Kamerasysteme bekannt, bei denen mehrere Kameras denselben Bereich einer Umgebung erfassen, um eine algorithmische Szeneninterpretation zu ermöglichen. Solche Systeme sind oftmals in
Fahrzeugen integriert, um Rundumsichten um das Fahrzeug erzeugen zu können. Aktuelle Algorithmen verwenden von Kameras aufgezeichnete Bilder einer Umgebung, um Bildinformationen und darauf aufbauende Informationen über die Umgebung zu generieren. Wird das System in Fahrzeugen eingesetzt, so lassen sich auch Informationen über das Fahrzeug selbst generieren. Die Verarbeitung der Bilder kann dabei auf Einzelbildern oder einem Vergleich zeitlich und räumlich unterschiedlich aufgenommener Bilder basieren. Eine Voraussetzung zur Realisierung von Funktionen auf räumlich versetzten Bildern, wie insbesondere Stereofluss und/oder Helligkeitsharmonisierung und
Farbharmonisierung von zwei benachbarten Kameras eines Surround-View- Systems, ist die Auswahl geeigneter Bildbereiche. Die Funktionen sind darauf angewiesen, dass diese Bereiche nach Möglichkeit identischen Szeneninhalt beinhalten. In aktuellen Systemen wird pro Kamera manuell ein statischer Bildbereich festgelegt. Diese statischen Bildbereiche haben aber das Problem, dass in vielen Szenarien durch Verdeckung von fernen Objekten durch nahe Objekte in Teilen oder komplett divergierende Szeneninhalte vorhanden sind. Dies führt in vielen Szenarien zu Degradation der Algorithmen und Funktionen des Systems. Offenbarung der Erfindung
Durch das erfindungsgemäße Verfahren ist ermöglicht, solche Bildbereiche zu erkennen, die denselben Szeneninhalt darstellen. Eine weitere Verarbeitung der Bilder lässt sich somit basierend auf diesen Bildbereichen ausführen, wodurch bekannte Algorithmen und Funktionen verwendet werden können, ohne dass eine Gefahr besteht, dass besagte Algorithmen und Funktionen degradieren.
Das erfindungsgemäße Verfahren umfasst die folgenden Schritte: Zunächst erfolgt ein Aufnahmen einer Umgebung mit zumindest zwei an unterschiedlichen
Orten platzierten Kameras, um zumindest ein erstes Bild und ein zweites Bild zu erhalten. Das erste Bild und das zweite Bild zeigen die Umgebung somit aus unterschiedlichen Perspektiven. Anschließend erfolgt ein Ermitteln von ersten Bildbereichen in dem ersten Bild und zweiten Bildbereichen in dem zweiten Bild, die dieselben vordefinierten Untersuchungsbereiche der Umgebung abbilden.
Zuletzt erfolgt ein Erkennen zumindest eines denselben Szeneninhalt darstellenden Paares aus erstem Bildbereich und zweitem Bildbereich. Es wird somit insbesondere eine Menge an möglichen, für nachfolgende Algorithmen interessanten, Untersuchungsbereichen in der Umgebung der Kameras in absoluten Weltkoordinaten definiert. Diese Untersuchungsbereiche stellen somit konkrete Bereiche direkt in der Umgebung dar. Diese konkreten Bereiche werden anschließend in die Bildebene der einzelnen Kameras projiziert und/oder umgerechnet. Dies bedeutet, dass sich sowohl in dem ersten Bild als auch in dem zweiten Bild entsprechende Abschnitte finden, auf denen der jeweilige Untersuchungsbereich der Umgebung abgebildet ist. Auf diese Weise lassen sich die ersten Bildbereiche und die zweiten Bildbereiche ermitteln. Allerdings ist das Ermitteln der ersten und zweiten Bildbereiche noch nicht aussagekräftig hinsichtlich der Frage, ob in den ersten Bildbereichen und den zweiten
Bildbereichen derselbe Szeneninhalt dargestellt ist. So kann beispielsweise ein Hindernis vor einer der Kameras angeordnet sein, das dahinterliegende Objekte verdeckt. Dieses Hindernis kann aber beispielsweise von der anderen Kamera aus nicht sichtbar sein. Somit wird in dem letzten beschriebenen Schritt erkannt, welche Paare von erstem Bildbereich und zweiten Bildbereich tatsächlich denselben Szeneninhalt anzeigen. Insbesondere zeigen zwei Bildbereiche denselben Szeneninhalt dann an, wenn sämtliche Objekte in dem einen
Bildbereich auch in dem anderen Bildbereich erkennbar sind. Es ist somit ermöglicht, Bereiche mit identischen Szeneninhalt zu erkennen, um nachfolgende Algorithmen zur Weiterverarbeitung der Bilder besagten Paare aus erstem Bildbereich und zweitem Bildbereich anzuwenden, wodurch besagte Algorithmen sehr effektiv und zuverlässig eingesetzt werden können. Die Unteransprüche haben bevorzugte Weiterbildungen der Erfindung zum
Inhalt.
Bevorzugt ist vorgesehen, dass der erste Bildbereich und der zweite Bildbereich anhand einer extrinsischen Kalibrierung und/oder intrinsischen Kalibrierung der Kameras ermittelt werden. Durch besagte Kalibrierung der Kameras ist festgelegt, welche Bereiche der Umgebung auf weichen Bereichen der Bilder dargestellt werden. Somit lässt sich anhand besagter Kalibrierung ebenfalls einfach und aufwandsarm ermitteln, auf weichen Bildbereichen die
entsprechenden Untersuchungsbereiche der Umgebung dargestellt werden. Auf diese Weise ist garantiert, dass in allen Bildern stets derselbe
Untersuchungsbereich als Grundlage für die Bildbereiche verwendet wird, unabhängig von einem Blickwinkel und/oder von Projektionseigenschaften der aufnehmenden Kamera. Durch die Definition der Untersuchungsbereiche direkt in der Umgebung ist somit die Anwendungsspezifikation von der
Sensorspezifikation entkoppelt. Das bedeutet, dass die Untersuchungsbereiche unabhängig von den Kameras ausgewählt werden können. Insbesondere lassen sich die Untersuchungsbereiche derart auswählen, dass diese für eine nachfolgende Weiterverarbeitung der Bilder optimal sind. Gleichzeitig ist das Verfahren auf eine beliebige Anzahl von Kameras anwendbar, solange stets zwei Kameras überlappende Bereiche der Umgebung anzeigen. Sollen für
unterschiedliche Anwendungsfälle unterschiedliche Untersuchungsbereiche verwendet werden, so ist dies einfach und aufwandsarm ermöglicht.
Vorteilhafterweise umfasst der zuvor beschriebene Schritt des Erkennens die folgenden Teilschritte: Zunächst werden erste Bildbereiche und zweite
Bildbereiche zu Paaren aus jeweils einem ersten Bildbereich und einem zweiten Bildbereich gruppiert, wobei der jeweils erste Bildbereich und der jeweils zweite Bildbereich denselben Untersuchungsbereich der Umgebung abbilden.
Anschließend wird jeder erste Bildbereich und jeder Bildbereich eines Paares mittels eines Deskriptors codiert. Zuletzt erfolgt ein Festlegen, dass ein Paar aus erstem Bildbereich und zweitem Bildbereich denselben Szeneninhalt darstellt, wenn die zugehörigen Deskriptoren einen vordefinierten Deskriptorabstand unterschreiben und/oder einen minimalen Deskriptorabstand aufweisen. Durch die Codierung mittels Deskriptoren erfolgt eine Transformation der jeweiligen Bildbereiche in einem Deskriptorraum. Innerhalb dieses Deskriptorraums lässt sich der Deskriptorabstand einfach und aufwandsarm ermitteln. Somit lassen sich einfach und aufwandsarm solche Paare aus erstem Bildbereich und zweiten
Bildbereich erkennen, die denselben Szeneninhalt darstellen. Bei dem Deskriptor handelt es sich vorteilhafterweise um einen solchen Deskriptor, der gegenüber Beleuchtungsänderungen im Bild und Verzerrungen durch die
Projektionseigenschaften der Kameras invariant ist. Solche Deskriptoren sind insbesondere aus dem Stand der Technik bekannt.
Besonders vorteilhaft ist vorgesehen, dass der Deskriptor jedes ersten
Bildbereichs und/oder zweiten Bildbereichs auf Gradientenhistogrammen oder binären Vergleichsoperatoren mit Berücksichtigung der Projektionsänderung durch Sichtwinkeländerungen beruht. Solche Deskriptoren sind beispielsweise als„SIFT", als„SURF" oder als„BRIEF" aus dem Stand der Technik bekannt. Diese Deskriptoren generieren den Vorteil, dass dadurch Bildbereiche in einer abstrakten Weise beschrieben werden. Diese Beschreibungen können dann verwendet werden, um für Paare aus erstem Bildbereich und zweiten Bildbereich zu bestimmen, ob sie denselben Szeneninhalt darstellen oder aufgrund von
Verdeckungen voneinander divergieren. Diese abstrakte Bewertungsstrategie liefert für viele Anwendungen, die nachfolgend beschrieben sind, wertvollen Input. In einer vorteilhaften Ausführungsform der Erfindung erfolgt ein Erstellen einer
Abbildung der Umgebung aus einer vordefinierten Perspektive, insbesondere einer Vogelperspektive. Diese Abbildung aus der vordefinierten Perspektive, insbesondere der Vogelperspektive, wird aus dem ersten Bild und dem zweiten Bild berechnet. Dabei ist eine Harmonisierung des ersten Bildes und des zweiten Bildes notwendig. Bei einer solchen Harmonisierung handelt es sich
insbesondere um eine Farbharmonisierung und/oder Helligkeitsharmonisierung, die vorzunehmen ist, damit in dem entstehenden Bild aus der vordefinierten Perspektive, insbesondere Vogelperspektive, keine oder nahezu keine sichtbaren Grenzen zwischen dem ersten Bild und dem zweiten Bild entstehen. Solche Harmonisierungen sind insbesondere aus dem Stand der Technik bekannt. Ebenso ist bekannt, dass derartige Harmonisierungen dann versagen, wenn diese auf Bildbereiche angewandt wird, die nicht denselben Szeneninhalt darstellen. Somit bevorzugt vorgesehen, dass die Harmonisierung des ersten Bilds und des zweiten Bilds anhand solcher Paare aus erstem Bildbereich und zweitem Bildbereich erfolgt, die im Schritt des Erkennens als denselben
Szeneninhalt darstellend erkannt wurden. Somit lassen sich Harmonisierungen von hoher Qualität erreichen. Insbesondere ist für den Anwendungsfall
„Bildharmonisierung" stets dieselbe Menge von identischen
Untersuchungsbereichen definiert. Bei den Untersuchungsbereichen handelt es somit um solche Bereiche der Umgebung, die für ein Zusammensetzen der einzelnen Bilder zu der Vogelperspektive relevant sind. Allerdings kann szenenabhängig ein verschiedenes Paar aus erstem Bildbereich und zweitem
Bildbereich erkannt werden, die denselben Szeneninhalt darstellen. Somit ist die Bildharmonisierung erheblich verbessert, da bereits einzelne Objekte, die einem Bildbereich vorhanden sind, in einem anderen Bildbereich jedoch nicht, zu einer deutlichen Minderung der Qualität der Harmonisierung führen. Im Gegensatz zum Stand der Technik, in dem stets ein statischer Bildbereich ausgewählt wurde, lassen sich durch das dynamische Erkennen von Paaren aus erstem Bildbereich und zweitem Bildbereich mit demselben Szeneninhalt stets solche Bildbereiche erkennen, die zuverlässig denselben Szeneninhalt darstellen. In einer vorteilhaften Weiterbildung ist außerdem vorgesehen, dass eine
Korrespondenzsuche von korrespondierenden Bildpunkten auf dem ersten Bild und dem zweiten Bild ausgeführt wird. Eine solche Korrespondenzsuche ist insbesondere dann notwendig, wenn Bildverarbeitungsverfahren wie Stereofluss, Structure-from-Motion, Objektverfolgung oder ähnliches ausgeführt werden soll. Eine große Herausforderung für Korrespondenzsuchverfahren stellt dabei der
Umgang mit Verdeckungen dar, da in dem Bildbereich, in dem eine Verdeckung auftritt, keine Korrespondenz gefunden werden kann. Idealerweise wird daher in solchen Bildbereichen das Korrespondenzsuchverfahren gar nicht erst angewandt, um falsche Korrespondenzergebnisse zu vermeiden und
Rechenressourcen zu schonen. Somit ist vorgesehen, dass vorteilhafterweise die
Korrespondenzsuche nur in solchen Paaren aus erstem Bildbereich und zweiten Bildbereich durchgeführt wird, die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden. Durch diese effiziente Vorverarbeitung der Bilder ist es ermöglicht, das Korrespondenzsuchverfahren nur auf geeignete Bildbereiche anzuwenden. Dies hilft insbesondere auch, den Aufwand der
Nachverarbeitung der Korrespondenzergebnisse zu vereinfachen, da insbesondere keine falschen Korrespondenzen aufgrund von Verdeckungen herausgefiltert werden müssen.
Des Weiteren ist vorgesehen, dass eine Vielzahl von Untersuchungsbereichen mit jeweils bekanntem Abstand zu den Kameras verwendet werden. Diese
Untersuchungsbereiche stellen somit ein Raster dar, das einen zunehmenden Abstand zu den Kameras aufweist. Mittels des zuvor beschriebenen Erkennens von Paaren aus erstem Bildbereich und zweitem Bildbereich, die denselben Szeneninhalt darstellen, lässt sich somit eine Sichtweite der Kameras abschätzen. Dazu wird festgestellt, welche der Untersuchungsbereiche identischen Szeneninhalt aufweisen. Sobald dies nicht der Fall ist, ist erkennbar, dass ein Hindernis vorhanden ist. Da die Abstände der Untersuchungsbereiche zu den Kameras bekannt ist, kann durch denjenigen Abstand desjenigen Untersuchungsbereichs, der erstmals nicht zu Bildbereichen mit identischem Szeneninhalt führt, die Entfernung zu dem Hindernis abgeschätzt werden. Bei den Untersuchungsbereichen handelt es sich vorteilhafterweise um parallele Ebenen, die unterschiedliche Abstände zu den Kameras aufweisen.
Die Erfindung betrifft außerdem ein Computerprogramm, das eingerichtet, das Verfahren wie zuvor beschrieben auszuführen. Das Computerprogramm ist insbesondere ein Computerprogrammprodukt, umfassend Instruktionen, die, wenn sie auf einem Prozessor einer Rechenvorrichtung ausgeführt werden, den Prozessor veranlassen, die Schritte des Verfahrens wie zuvor beschrieben auszuführen. Bei dem Prozessor der Rechenvorrichtung handelt es sich insbesondere um einen Prozessor, besonders vorteilhaft um einen
Mikroprozessor, eines Steuergeräts, insbesondere eines Steuergeräts eines Fahrzeugs.
Die Erfindung betrifft außerdem ein maschinenlesbares Speichermedium. Auf dem Speichermedium ist das Computerprogramm wie zuvor beschrieben gespeichert.
Schließlich betrifft die Erfindung ein Steuergerät. Das Steuergerät ist
insbesondere ein Steuergerät eines Fahrzeugs. Das Steuergerät ist eingerichtet, das Verfahren wie zuvor beschrieben auszuführen. Insbesondere ist das
Steuergerät eingerichtet, das Computerprogramm wie zuvor beschrieben ablaufen zu lassen. Kurze Beschreibung der Zeichnung
Nachfolgend werden Ausführungsbeispiele der Erfindung unter Bezugnahme auf die begleitende Zeichnung im Detail beschrieben. In der Zeichnung ist: eine schematische Darstellung eines Fahrzeugs mit einem Steuergerät gemäß einem Ausführungsbeispiel der Erfindung, eine schematische Darstellung des Ablaufs des Verfahrens gemäß einem Ausführungsbeispiel der Erfindung, eine schematische Darstellung von Deskriptoren einer ersten Alternative, die in dem Verfahren gemäß dem Ausführungsbeispiel der Erfindung verwendet werden, eine schematische Darstellung von Deskriptoren einer zweiten Alternative, die bei Ausführen des Verfahrens gemäß dem Ausführungsbeispiel verwendet werden, eine schematische Darstellung von Untersuchungsbereichen gemäß einer ersten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung, eine erste schematische Darstellung von Bildern bei den Untersuchungsbereichen gemäß der ersten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung,
Figur 7 eine zweite schematische Darstellung von Bildern bei den
Untersuchungsbereichen gemäß der ersten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung,
Figur 8 eine schematische Darstellung von Untersuchungsbereichen gemäß einer zweiten Alternative des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung, und Figur 9 eine schematische Darstellung von Bildern bei den
Untersuchungsbereichen der zweiten Alternative des
Verfahrens gemäß dem Ausführungsbeispiel der Erfindung. Ausführungsformen der Erfindung
Figur 1 zeigt schematisch ein Fahrzeug 18, umfassend eine Vielzahl von
Kameras 2 sowie ein Steuergerät 1 . Das Steuergerät 1 ist zum Erfassen von Bildern der Umgebung des Fahrzeugs 18 mittels der Kamera 2 ausgebildet. Das Steuergerät 1 dient zum Durchführen eines Bildbearbeitungsverfahrens gemäß einem Ausführungsbeispiel der Erfindung.
In den nachfolgenden Figuren 2 bis 9 wird beispielhaft auf zwei Kameras 2 verwiesen, auf eine nach vorne gerichtete Kamera 2 und auf eine rechte Seite des Fahrzeugs 18 gerichtete Kamera 2. Diese beiden Kameras 2 nehmen teilweise überlappende Bilder der Umgebung des Fahrzeugs 18 auf.
Figur 2 zeigt schematisch einen Ablauf des Verfahrens gemäß dem
Ausführungsbeispiel der Erfindung. Dabei werden mittels der Kameras 2 Bilder 3, 4 der Umgebung aufgenommen. Somit steht ein erstes Bild 3 und ein zweites
Bild 4 zur Verfügung, wobei das erste Bild 3 und das zweite Bild 4 mit
unterschiedlichen Kameras 2 aufgenommen wurden. In der Umgebung werden Untersuchungsbereiche 1 1 , 12, 13 festgelegt (vgl. Figur 5), zu denen sich korrespondierende erste Bildbereiche 5, 6, 7 und zweite Bildbereiche 8, 9, 10 finden lassen. Wie aber insbesondere aus dem zweiten Bild 4 ersichtlich ist, weisen nicht alle ersten Bildbereiche 5, 6, 7 und zweiten Bildbereiche 8, 9, 10 denselben Szeneninhalt auf, da diese teilweise durch Hindernisse verdeckt sind. Insbesondere ist ersichtlich, dass ein erster erster Bildbereich 6 und erster zweiter Bildbereich 8 gleiche Szeneninhalte aufweisen. Dahingegen weisen ein zweiter erster Bildbereich 6 und ein zweiter zweiter Bildbereich 9 ebenso wie ein dritter erster Bildbereich 7 und ein dritter zweiter Bildbereich 10 unterschiedliche Szeneninhalte auf. Um dies zu erkennen, werden Deskriptoren 16 verwendet.
Mittels der Deskriptoren 16 erfolgt ein Codieren von den ersten Bildbereichen 5, 6, 7 und den zweiten Bildbereichen 8, 9, 10 in einem Deskriptorraum 17. Durch diese abstrakte Beschreibung der ersten Bildbereiche 5, 6, 7 und zweiten Bildbereiche 8, 9, 10, lässt sich auf sichere und gleichzeitig einfache Weise ermitteln, ob die jeweiligen Bildbereiche 5, 6, 7, 8, 9, 10 identische Szeneninhalte aufweisen.
Weisen zwei Deskriptoren 16 in dem Deskriptorraum 17 einen minimalen Deskriptorabstand und/oder einen solchen Deskriptorabstand auf, der einen vordefinierten Grenzwert unterschreitet, so werden die zugehörigen Bildbereiche 5, 6, 7, 8, 9, 10 als denselben Szeneninhalt darstellend erkannt. In dem in Figur 2 gezeigten Beispiel ist dies für den ersten ersten Bildbereich 5 und den ersten zweiten Bildbereich 8 der Fall.
Die Figuren 3 und 4 illustrieren unterschiedliche Deskriptoren 16, wie in Figur 2 verwendet. So zeigt die Figur 3 die Verwendung von projektionsabhängigen SIFT-Deskriptoren 14. Die Figur 4 zeigt die Verwendung von
projektionsabhängigen BRIEF-Deskriptoren 15. Anstelle des SIFT-Deskriptor 14 kann auch ein SURF-Deskriptor verwendet werden. Bei eine SIFT-Deskriptor 14 oder einem SURF-Deskriptor handelt es sich um solche Deskriptoren, die auf Gradientenhistogrammen beruhen. Bei dem BRIEF-Deskriptor 15 handelt es sich um einen solchen Deskriptor, der auf binären Vergleichsoperationen beruht. In jedem Fall sind die Deskriptoren 14, 15, 16 gegenüber Beleuchtungsänderungen im Bild und Verzerrungen durch die Projektionseigenschaften der Kameras 2 invariant. Es ist lediglich die Projektionsänderung durch eine
Sichtwinkeländerung zu berücksichtigen. Solche Deskriptoren 14, 15, 16 generieren den Vorteil, dass dadurch Bildbereiche 5, 6, 7, 8, 9, 10 in einer abstrakten Weise beschrieben werden können, nämlich durch den
Deskriptorraum 17. Diese Beschreibungen können dann verwendet werden, um für Bereichspaare zu bestimmen, ob sie gleiche Szeneninhalte enthalten oder aufgrund von Abdeckungen voneinander divergieren.
Insbesondere werden nur solche Bildbereiche 5, 6, 7, 8, 9, 10 verglichen, die denselben Untersuchungsbereich 1 1 , 12, 13 darstellen. Dies bedeutet, dass ein
Deskriptorabstand nur für den ersten ersten Bildbereich 5 und den ersten zweiten Bildbereich 8, den zweiten ersten Bildbereich 6 und den zweiten zweiten
Bildbereich 9, sowie für den dritten ersten Bildbereich 7 und den dritten zweiten Bildbereich 10 bestimmt werden. Nur diese Paare von Bildbereichen 5, 6, 7, 8, 9, 10 stellen denselben Untersuchungsbereich 1 1 , 12, 13 dar, so dass nur diese
Paare überhaupt identischen Szeneninhalt beinhalten können. Die Figuren 5 bis 7 zeigen einen ersten Anwendungsfall des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung. In Figur 5 ist dargestellt, wie bezüglich dem Fahrzeug 18 und damit bezüglich der Kameras 2 ein erster
Untersuchungsbereich 1 1 , ein zweiter Untersuchungsbereich 12 und ein dritter Untersuchungsbereich 13 definiert sind. Diese Untersuchungsbereiche 1 1 , 12, 13 sind relevante Bereiche, die benötigt werden, um aus den Bildern der Kameras 2 eine Ansicht aus einer virtuellen Vogelperspektive zu generieren. Für die
Generierung der Ansicht aus der Vogelperspektive ist notwendig, die mittels der Kameras 2 aufgenommenen Bildern hinsichtlich Farbe und Helligkeit zu harmonisieren. Dies ist grundsätzlich aus dem Stand der Technik bekannt.
Allerdings weisen bekannte Harmonisierungsverfahren große Schwächen auf, wenn die zu harmonisierenden Bereiche nicht dieselben Inhalte darstellen. Daher wird mittels des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung erkannt, welche Bildbereiche 5, 6, 7, 8, 9, 10, die die Untersuchungsbereiche 1 1 , 12, 13 darstellen, denselben Szeneninhalt aufweisen.
Figur 6 zeigt ein erstes Beispiel. Es ist ersichtlich, dass in dem ersten Bild 3 der erste erste Bildbereich 5 den ersten Untersuchungsbereich 1 1 darstellt. Der zweite erste Bildbereich 6 stellt den zweiten Untersuchungsbereich 12 dar.
Schließlich stellt der dritte erste Bildbereich 7 den dritten Untersuchungsbereich
13 dar. Gleiches gilt für das zweite Bild 4. Hier stellt ein erster zweiter Bildbereich 8 den ersten Untersuchungsbereich 1 1 dar. Ein zweiter zweiter Bildbereich 9 stellt den zweiten Untersuchungsbereich 12 dar. Schließlich stellt ein dritter zweiter Bildbereich 10 den dritten Untersuchungsbereich 13 dar.
Wie zuvor beschrieben, wird erkannt, dass lediglich der dritte erste Bildbereich 7 und der dritte zweite Bildbereich 10 identischen Szeneninhalt zeigen. Somit wird eine Harmonisierung der Bilder 3, 4 der Kameras 2 anhand des dritten ersten Bildbereichs 7 und des dritten zweiten Bildbereichs 10 durchgeführt. Somit ist sichergestellt, dass eine Harmonisierung mit höchster Güte ausgeführt werden kann.
Figur 7 zeigt dasselbe Beispiel einer anderen Umgebung. Hier ist ersichtlich, dass lediglich der erste erste Bildbereich 5 und der zweite erste Bildbereich 8 dieselben Szeneninhalte aufweisen. Somit zeigt sich ein großer Vorteil des beschriebenen Verfahrens, der darin zu sehen ist, dass umgebungsabhängig solche Untersuchungsbereiche 1 1 , 12, 13 erfasst werden, die in allen Bildern 3, 4 zu demselben Szeneninhalt führen. Der jeweils ausgewählte Bildbereich 5, 6, 7, 8, 9, 10 bei dem in Figur 6 gezeigten Beispiel ist unterschiedlich von dem in Figur 7 gezeigten Beispiel. Würde man, wie im Stand der Technik, lediglich einen statischen Bildbereich vorgeben, so würde dies in dem ein oder anderen Beispiel zu einer erheblichen Verschlechterung der Harmonisierung der Bilder 3, 4 der
Kameras 2 führen.
Die Figuren 8 und 9 zeigen einen zweiten Anwendungsfall des Verfahrens gemäß dem Ausführungsbeispiel der Erfindung. Wiederum ist in Figur 8 gezeigt, dass unterschiedliche Untersuchungsbereiche 1 1 , 12, 13 bezüglich dem
Fahrzeug 18 und damit bezüglich der Kameras 2 definiert sind. Insbesondere ist vorgesehen, dass die Untersuchungsbereiche 1 1 , 12, 13 Flächen darstellen, die parallel zueinander angeordnet sind und mit zunehmendem Abstand von dem Fahrzeug 18 vergrößert sind. In Figur 8 sind beispielhaft nur drei
Untersuchungsbereiche 1 1 , 12, 13 dargestellt, vorteilhafterweise lassen sich weitere Untersuchungsbereiche verwenden, die mit zunehmendem Abstand vom Fahrzeug 18 eine größere Fläche aufweisen. Alle Untersuchungsbereiche 1 1 , 12, 13 weisen einen bekannten vordefinierten Abstand zu dem Fahrzeug 18 und damit zu den Kameras 2 auf.
Mittels eines solchen Anwendungsfalls ist ermöglicht, eine Sichtweite der Kameras 2 abzuschätzen. In Figur 9 ist wiederum das erste Bild 3 und das zweite Bild 4 dargestellt. Anhand des zuvor beschriebenen Verfahrens lassen sich wiederum Bildbereiche 5, 6, 7, 8, 9, 10 erkennen, die denselben
Szeneninhalt aufweisen. Anhand dieser Feststellung lassen sich
Untersuchungsbereiche 1 1 , 12, 13 ermitteln, an denen kein Hindernis vorhanden ist. Anhand des bekannten Abstands der Untersuchungsbereiche 1 1 , 12, 13 lässt sich somit ein Abstand des Hindernisses zu dem Fahrzeug 18 und damit zu den Kameras 2 derart ermitteln, dass der dem Fahrzeug am nächsten gelegene Untersuchungsbereich 1 1 , 12, 13, für den kein identischer Szeneninhalt des zugehörigen ersten Bildbereichs 5, 6, 7 und zweiten Bildbereichs 8, 9, 10 erkannt wurde, als Maß für die maximale Sichtweite der jeweiligen Kameras 2 dient. Somit lässt sich einfach und aufwandsarm eine Sichtweite der Kameras 2 und/oder ein Abstand des Hindernisses zu den Kameras 2 und/oder zu dem Fahrzeug 18 ermitteln.

Claims

Ansprüche
1 . Verfahren zum Verarbeiten von Bildern umfassend die Schritte
· Aufnehmen einer Umgebung mit zumindest zwei an unterschiedlichen
Orten platzierten Kameras (2), um zumindest ein erstes Bild (3) und ein zweites Bild (4) zu erhalten, die die Umgebung aus unterschiedlichen Perspektiven zeigen,
• Ermitteln von ersten Bildbereichen (5, 6, 7) in dem ersten Bild (3) und von zweiten Bildbereichen (8, 9, 10) in dem zweiten Bild (4), die dieselben vordefinierten Untersuchungsbereiche (1 1 , 12, 13) der
Umgebung abbilden, und
• Erkennen zumindest eines denselben Szeneninhalt darstellenden Paares aus einem erstem Bildbereich (5, 6, 7) und einem zweitem Bildbereich (8, 9, 10).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass jeder erste
Bildbereich (5, 6, 7) und jeder zweite Bildbereich (5, 6, 7) anhand einer extrinsischen Kalibrierung und/oder intrinsischen Kalibrierung der das erste Bild (3) oder zweite Bild (4) aufnehmenden Kamera (2) ermittelt werden.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass der Schritt des Erkennens folgende Teilschritte umfasst:
· Gruppieren der ersten Bildbereiche (5, 6, 7) und zweiten Bildbereiche (8,
9, 10) zu Paaren aus erstem Bildbereich (5, 6, 7) und zweitem
Bildbereich (8, 9, 10), die denselben Untersuchungsbereich (1 1 , 12, 13) der Umgebung abbilden,
• Kodieren jedes ersten Bildbereichs (5, 6, 7) und jedes zweiten
Bildbereichs (8, 9, 10) eines Paares mittels eines Deskriptors (14, 15,
16), und
• Festlegen, dass ein Paar aus erstem Bildbereich (5, 6, 7) und zweiten Bildbereich (8, 9, 10) denselben Szeneninhalt darstellt, wenn die zugehörigen Deskriptoren (14, 15, 16) einen vordefinierten
Deskriptorabstand unterschreiten und/oder einen minimalen
Deskriptorabstand aufweisen. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass der Deskriptor (14, 15, 16) jedes ersten Bildbereichs (5, 6, 7) und/oder zweiten Bildbereichs (8, 9, 10) auf Gradientenhistogrammen oder binären Vergleichsoperatoren mit Berücksichtigung der Projektionsänderung durch Sichtwinkeländerungen beruht.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass eine Abbildung der Umgebung aus einer
vordefinierten Perspektive aus dem ersten Bild (3) und dem zweiten Bild (4) erstellt wird, wobei eine Harmonisierung des ersten Bildes (3) und des zweiten Bildes (4) anhand solcher Paare aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10) erfolgt, die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass eine Korrespondenzsuche von korrespondierenden Bildpunkten auf dem ersten Bild (3) und dem zweiten Bild (4) ausgeführt wird, wobei die Korrespondenzsuche nur in solchen Paaren aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10) durchgeführt wird, die im Schritt des Erkennens als denselben Szeneninhalt darstellend erkannt wurden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch
gekennzeichnet, dass eine Vielzahl von Untersuchungsbereichen (1 1 , 12, 13) mit jeweils bekanntem Abstand zu den Kameras (2) verwendet werden und anhand solcher Paare aus erstem Bildbereich (5, 6, 7) und zweitem Bildbereich (8, 9, 10), die im Schritt des Erkennens als denselben
Szeneninhalt darstellend erkannt wurden, diejenigen Untersuchungsbereiche (1 1 , 12, 13) ermittelt werden, an denen ein Hindernis (19) vorhanden ist, um anhand des vordefinierten Abstands der Untersuchungsbereiche (1 1 , 12, 13) von den Kameras (2) einen Abstand des Hindernisses (19) zu den Kameras (2) zu ermitteln.
8. Computerprogramm, das eingerichtet ist, das Verfahren nach einem der vorhergehenden Ansprüche auszuführen. Maschinenlesbares Speichermedium, auf dem das Computerprogramm nach Anspruch 8 gespeichert ist.
Steuergerät (1 ) eingerichtet zum Ausführen des Verfahrens gemäß einem der Ansprüche 1 bis 7.
PCT/EP2018/073344 2017-10-13 2018-08-30 Verfahren zum verarbeiten von bildern WO2019072451A1 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017218405.1A DE102017218405A1 (de) 2017-10-13 2017-10-13 Verfahren zum Verarbeiten von Bildern
DE102017218405.1 2017-10-13

Publications (1)

Publication Number Publication Date
WO2019072451A1 true WO2019072451A1 (de) 2019-04-18

Family

ID=63557419

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/073344 WO2019072451A1 (de) 2017-10-13 2018-08-30 Verfahren zum verarbeiten von bildern

Country Status (2)

Country Link
DE (1) DE102017218405A1 (de)
WO (1) WO2019072451A1 (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022120236B3 (de) 2022-08-11 2023-03-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
WO2016164756A1 (en) * 2015-04-10 2016-10-13 Bendix Commercial Vehicle Systems Llc Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof
US9619894B2 (en) * 2014-05-16 2017-04-11 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
JP6084434B2 (ja) * 2012-10-31 2017-02-22 クラリオン株式会社 画像処理システム及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130286193A1 (en) * 2012-03-21 2013-10-31 Magna Electronics Inc. Vehicle vision system with object detection via top view superposition
US9619894B2 (en) * 2014-05-16 2017-04-11 GM Global Technology Operations LLC System and method for estimating vehicle dynamics using feature points in images from multiple cameras
WO2016130719A2 (en) * 2015-02-10 2016-08-18 Amnon Shashua Sparse map for autonomous vehicle navigation
WO2016164756A1 (en) * 2015-04-10 2016-10-13 Bendix Commercial Vehicle Systems Llc Vehicle 360° surround view system having corner placed cameras, and system and method for calibration thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102022120236B3 (de) 2022-08-11 2023-03-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum harmonisierten Anzeigen von Kamerabildern in einem Kraftfahrzeug und entsprechend eingerichtetes Kraftfahrzeug
WO2024033123A2 (de) 2022-08-11 2024-02-15 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum harmonisierten anzeigen von kamerabildern in einem kraftfahrzeug und entsprechend eingerichtetes kraftfahrzeug

Also Published As

Publication number Publication date
DE102017218405A1 (de) 2019-04-18

Similar Documents

Publication Publication Date Title
EP2767925B1 (de) Verfahren zur Erkennung von Objekten in einem Lager und/oder zur räumlichen Orientierung in einem Lager
DE102017218366A1 (de) Verfahren und system zur fussgängererfassung in einem fahrzeug
EP2028605A1 (de) Detektionsverfahren für symmetrische Muster
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
EP3308361B1 (de) Verfahren zur erzeugung eines virtuellen bildes einer fahrzeugumgebung
DE102015121387A1 (de) Hinderniserkennungseinrichtung und Hinderniserkennungsverfahren
DE102012209316A1 (de) Verfahren und Vorrichtung zum Verarbeiten von Sensordaten eines Stereosensorsystems
EP3089106A1 (de) Verfahren zur reflexionskorrektur von abbildungen und diesbezügliche vorrichtungen
DE112020004301T5 (de) Objekterkennungsvorrichtung
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
DE102012223047B4 (de) Mehrteil-Korrespondierer (corresponder) für mehrere Kameras
DE112009003648T5 (de) Verfahren und Vorrichtung zur Barrierentrennung
DE102014012250B4 (de) Verfahren zur Bilderverarbeitung und -darstellung
EP3931798A1 (de) Schätzung der bewegung einer bildposition
WO2019072451A1 (de) Verfahren zum verarbeiten von bildern
WO2003025843A2 (de) Modellbasierte objektklassifikation und zielerkennung
DE102017105910A1 (de) Frequenzbasierte Projektions-Segmentierung
DE102017218090A1 (de) Verfahren zur Darstellung von Bildern eines Kamerasystems eines Fahrzeugs
EP4118620A1 (de) Verfahren und vorrichtung zum verarbeiten von bildern
DE102018101014B3 (de) Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild davon
DE102020208080A1 (de) Erkennung von Objekten in Bildern unter Äquivarianz oder Invarianz gegenüber der Objektgröße
DE102019102423A1 (de) Verfahren zur Live-Annotation von Sensordaten
DE102012025463A1 (de) Verfahren zum Bestimmen eines Bewegungsparameters eines Kraftfahrzeugs durch Auffinden von invarianten Bildregionen in Bildern einer Kamera des Kraftfahrzeugs, Kamerasystem und Kraftfahrzeug
DE102013226797B4 (de) Kreissegment- und Formdetektion
DE102016225073A1 (de) Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18769076

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18769076

Country of ref document: EP

Kind code of ref document: A1