WO2022258289A1 - Verfahren zum parametrisieren einer szene - Google Patents

Verfahren zum parametrisieren einer szene Download PDF

Info

Publication number
WO2022258289A1
WO2022258289A1 PCT/EP2022/062780 EP2022062780W WO2022258289A1 WO 2022258289 A1 WO2022258289 A1 WO 2022258289A1 EP 2022062780 W EP2022062780 W EP 2022062780W WO 2022258289 A1 WO2022258289 A1 WO 2022258289A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
objects
scene
parameter
image
Prior art date
Application number
PCT/EP2022/062780
Other languages
English (en)
French (fr)
Inventor
Martin MECHELKE
Matthias Wacker
Michael Kessler
Steffen Brueggert
Omar Alaa El-Din
Johann Maas
Bjoern Scheuermann
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to US18/547,966 priority Critical patent/US20240233160A9/en
Priority to CN202280041619.XA priority patent/CN117480524A/zh
Publication of WO2022258289A1 publication Critical patent/WO2022258289A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle

Definitions

  • the invention relates to a method for parameterizing a scene with a surface and a control unit that is set up/programmed to carry out this method.
  • the invention also relates to a motor vehicle with such a control device.
  • the basic idea of the invention is therefore to calculate object size and object distance from an image generated by a camera as a function of a parameter characterizing the surface geometry of a surface on which the objects are arranged. It is to be regarded as essential to the invention that said objects are recognized by means of image recognition measures and are assigned to specific predefined object classes. A probability distribution of the size of the object assigned to the respective object class is predefined for each predefined object class. Thus, for the estimated object size of each detected object, a probability that the detected object has the calculated object size can be calculated using the known probability distribution.
  • a so-called scene probability can be calculated from the individual probability that can be calculated in this way for each object—for example by product formation.
  • the resulting value for the scene probability is a measure of whether the initially selected parameter characterizing the surface geometry accurately reflects the actually existing surface geometry. If the calculation of the scene probability explained above is carried out for different values of the parameter characterizing the geometry of the surface, that value is preferably classified as best characterizing the actual surface geometry at which the calculated scene probability assumes a maximum value.
  • the inventive method presented here for parameterizing a scene with a surface on which at least two objects are arranged, using a camera arranged at a distance from the objects comprises the five measures a) to e) explained below.
  • the camera According to a first measure a), the camera generates an image of the scene, which contains image data relating to the at least two objects.
  • second measure b) at least two objects are recognized in the generated image and the objects recognized in the image by evaluating the image data are assigned to a specific object class.
  • a respective object size of the at least two detected objects is estimated as a function of at least one surface parameter characterizing the surface.
  • an individual probability is calculated for each of the at least two objects that the object has the object size estimated in step c).
  • a scene probability is calculated from the at least two calculated individual probabilities.
  • the at least one surface parameter characterizing the surface is an angle which the main ray running from the camera to the object forms with a flat reference surface on which the object is arranged.
  • the scene probability is maximized by varying the at least one surface parameter characterizing the surface and that value of the at least one parameter parameterizing the surface is output as the result of the method in which the scene probability assumes a maximum value.
  • the value of the surface parameter that best matches the evaluated scene can be determined with particularly high accuracy.
  • the scene probability can be calculated particularly expediently by multiplying the at least two calculated individual probabilities. The scene probability can thus be determined with only a very small amount of computing effort.
  • At least the measures c) to e) are carried out iteratively while varying the at least one parameter characterizing the surface in order to determine the maximum value sought.
  • This measure is also associated with a not inconsiderable simplification of the method according to the invention.
  • a distance of the object from the camera can expediently be estimated in measure c) and then the object size of the object can be calculated as a function of the distance.
  • the distance can particularly preferably be estimated as a function of the at least one parameter that parameterizes the surface.
  • the parameter that parametrizes the surface remains the only free parameter of the entire process.
  • the invention also relates to a control device with a data processing unit and with a memory unit.
  • the control unit according to the invention is set up and/or programmed to carry out the method explained above, so that the advantages of the method according to the invention explained above also result for the control unit according to the invention.
  • the invention relates to a motor vehicle with a camera whose field of view is aligned with the surroundings, in particular the area in front of the motor vehicle, so that the camera can generate an image of the surroundings of the motor vehicle during operation.
  • the motor vehicle also includes a control device according to the invention, which is connected to the camera in a data-transmitting manner. The advantages of the method according to the invention explained above are thus also transferred to the motor vehicle according to the invention.
  • FIG. 2 the figure 1 supplementary representation, based on which a calculation of the distance of the object from the camera and the Calculation of the object size resulting from the calculated distance is illustrated,
  • FIG. 3 shows a greatly simplified flow diagram of the method according to the invention.
  • FIG. 1 shows a schematic representation of a typical scene 1 in which the method according to the invention can be used.
  • the method serves to parameterize a surface 2 present in the scene 1, which does not have to be flat as shown in FIG.
  • the surface 2 comprises a first surface section 2a, which forms an elevation 3a, and a second surface section 2b, which adjoins the first surface section 2a and forms a depression 3b.
  • An object 10 - in the example a person 11 - is arranged on the surface 2 at a transition 4 between the depression 3a and elevation 3b.
  • the camera 5 can be a video camera, for example, which can be installed in a motor vehicle (not shown).
  • Two or more objects 10 are typically arranged in the scene 1, but for the sake of simplicity only a single object 10 is shown in FIG.
  • the course of the surface 2, in particular the depression 3b and the elevation 3a, can be parameterized as shown in FIG Main beam S forms with a flat reference surface RE, on which the object 10 is arranged.
  • the height of the camera 5, ie its vertical distance from the reference plane of the latching element, is denoted by h.
  • the angle between the main beam S of the camera 5 and the line of sight V extending from the camera 5 to the base point F is defined as the angle ⁇ .
  • the base point F in turn is the point of intersection of the object 10 with the reference plane RE.
  • FIG. 3 shows a flow chart of the method according to the invention.
  • a first measure a) of the method an image of the scene 1 is generated using the camera 5 .
  • This image contains image data relating to the surface 2 and also the objects 10 arranged on the surface 2.
  • a second measure b) following the first measure a) at least two of the objects 10 present in the scene 1 are identified by evaluating the objects 10 provided by the camera 5 generated image data recognized.
  • Each detected object 10 is assigned to a specific object class OK from a predefined set M of such object class OK.
  • Possible object classes are, for example, "motor vehicles",
  • the object size of the detected object 10 is estimated.
  • the calculation of the object size as a function of the angle a, ie the angle between the reference plane RE and the main beam S from the camera 5 to the head point K of the object 10, is explained below with reference to FIG. To this end, relationships known to those skilled in the art of radiation optics are used.
  • ⁇ is the intermediate angle between the line of sight V, which extends from the camera 5 to a base point F, at which the object 10 touches the reference plane RE.
  • the principal point PP is the point located at a distance f from the camera 5 on the principal ray S, where f is the focal length of the camera 5 expressed in optical pixels of the image.
  • An image plane B runs perpendicular to the principal ray S through the principal point PP.
  • the point at which the line of sight V of the camera 5 intersects with the plane B is designated as the point PF.
  • X is the distance from the principal point PP to the point PF, both of which are located on the image plane B.
  • the estimated distance d of the object 10 to the camera 5 is obtained as a function of the angle a: d(a) h*tan(a+ ⁇ ) (2), where h is the distance of the camera 5 to the reference plane RE.
  • the estimated object size s i.e. the distance between the top point K and the bottom point F of the object 10, depends on the angle a:
  • the object size s of each object 10 recognized in measure b) is estimated. For example, if four different objects 10 are recognized in measure b), then four object sizes s1(a), s2(a), s3(a), s4(a) are estimated.
  • a statistic relating to the object size distribution can be formed for the various object classes OK, so that the estimated object size s(a) explained above can be assigned a
  • POK probability of occurrence
  • s (a) can be calculated from a predetermined probability distribution. This applies to all detected objects and thus to all estimated object sizes. If the different objects are assigned to different object classes, then they are also assigned to different object size distributions.
  • an individual probability P(s(a)) that the object has the object size estimated in measure c) is calculated for each object recognized in measure b), taking into account the classification carried out in measure b). .
  • the previously known probability distribution must be used for each object class that occurs and the individual probability POK (s(a)) calculated from this. If, for example, four objects are detected in step b), then four individual probabilities P 1 (s(a)), P 2 (s(a)), P 3 (s(a)), P s (a)) are calculated.
  • the individual probabilities Pi(s(a)), P 2 (s(a)), P 3 (s(a)), P 4 (s(a)) calculates a scene probability P tot (a).
  • the scene probability P tot (a) can, for example, be calculated by multiplying that in measure d).
  • the scene probability P tot (a) is now maximized in the method according to the invention.
  • max (P tot (a)) the maximum value
  • at least the measures c) to e) can be carried out iteratively while varying the at least one parameter characterizing the surface—that is, the angle a.
  • the value for the angle ⁇ determined in this way as the result E can be regarded as the value which best represents the actual scene.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zum Parametrisieren einer Szene (1) mit einer Oberfläche (2), auf welcher wenigstens zwei Objekte (10) angeordnet sind, mittels einer im Abstand zu den Objekten (10) angeordneten Kamera (5), umfassend die folgenden Maßnahmen: a) Mittels der Kamera: Erzeugen eines Bildes (B) der Szene (1), welches Bilddaten (BD) betreffend die Objekte enthält; b) Erkennen von wenigstens zwei Objekten (10) in dem Bild (B) durch Auswertung der Bilddaten (BD) und Zuordnen des jeweils erkannten Objekts (10) zu einer bestimmten Objektklasse (OK); c) Abschätzung einer jeweiligen Objekt-Größe (s(α)) der wenigstens zwei erkannten Objekte (10) in Abhängigkeit von wenigstens einem die Oberfläche (2) charakterisierenden Oberflächenparameter (α); d) Für jedes der wenigstens zwei Objekte (10): Berechnen einer Einzel-Wahrscheinlichkeit P(s(α)) so, dass das Objekt (10) die in Maßnahme c) abgeschätzte Objekt-Größe (s) besitzt; e) Berechnen einer Szenen-Wahrscheinlichkeit (Pges) aus den wenigstens zwei berechneten Einzel-Wahrscheinlichkeiten P(s(α)).

Description

Verfahren zum Parametrisieren einer Szene
Die Erfindung betrifft ein Verfahren zum Parametrisieren einer Szene mit einer Oberfläche sowie ein Steuergerät, das zur Durchführung dieses Verfahrens eingerichtet/programmiert ist. Die Erfindung betrifft ferner ein Kraftfahrzeug mit einem solchen Steuergerät.
Die Kenntnis der Geometrie einer Oberfläche bzw. einer Szene, in welcher eine solche Oberfläche enthalten ist, erweist sich gerade im Zusammenhang mit Fahrzeug-Assistenzsystemen für Kraftfahrzeuge als bedeutsam.
Herkömmliche Verfahren, die ein mithilfe einer Kamera oder dergleichen erzeugtes Bild der Szene auswerten, schätzen die Objekt-Größe von im Bild erkannten Objekten und deren Entfernung von der Kamera in Abhängigkeit von verschiedenen Eingangsparametern, welche wiederum von einer jeweils angenommenen Geometrie der Oberfläche abhängen. Die Genauigkeit der Schätzung hängt somit stark von der angenommenen Oberflächen-Geometrie ab und ist daher fehlerbehaftet.
Es ist daher eine Aufgabe der vorliegenden Erfindung, für ein Verfahren der eingangs erläuterten Art eine verbesserte Ausführungsform zu schaffen, die sich insbesondere durch eine verbesserte Genauigkeit auszeichnet, mit welcher die Geometrie einer Oberfläche bzw. einer Szene mit einer solchen Oberfläche ermittelt werden kann.
Diese Aufgabe wird durch den Gegenstand der unabhängigen Patentansprüche gelöst. Bevorzugte Ausdrucksformen sind Gegenstand der abhängigen Patentansprüche. Grundidee der Erfindung ist demnach, Objekt-Größe und Objekt- Entfernung von in einem mittels einer Kamera erzeugten Bild in Abhängigkeit von einem die Oberflächengeometrie einer Oberfläche, auf welchem die Objekte angeordnet sind, charakterisierenden Parameter zu berechnen. Als erfindungswesentlich ist dabei anzusehen, dass besagte Objekte mittels Bilderkennungsmaßnahmen erkannt und bestimmten vorgegebenen Objektklassen zugeordnet werden. Für jede vorgegebene Objektklasse ist dabei eine Wahrscheinlichkeitsverteilung der Größe des der jeweiligen Objektklasse zugeordneten Objekts vorgegeben. Somit lässt sich für die geschätzte Objekt-Größe eines jeden erkannten Objekts mittels der bekannten Wahrscheinlichkeitsverteilung eine Wahrscheinlichkeit berechnen, dass das erkannte Objekt die berechnete Objektgröße besitzt. Aus den für jedes Objekt auf diese Weise berechenbaren Einzel-Wahrscheinlichkeit lässt sich - beispielsweise durch Produktbildung - eine sog. Szene-Wahrscheinlichkeit berechnen. Der sich ergebende Wert für die Szene-Wahrscheinlichkeit ist ein Maß dafür, ob der eingangs gewählte, die Oberflächen-Geometrie charakterisierende Parameter die tatsächlich vorhandene Oberflächen- Geometrie gut wiedergibt. Führt man voranstehend erläuterte Berechnung der Szenen-Wahrscheinlichkeit für verschiedene Werte des die Geometrie der Oberfläche charakterisierenden Parameters durch, so wird bevorzugt derjenige Wert als die tatsächliche Oberflächengeometrie am besten charakterisierend eingestuft, bei welchem die berechnete Szenen- Wahrscheinlichkeit einen Maximalwert annimmt. Mithilfe der hier vorgeschlagenen Verwendung von vorbestimmten Wahrscheinlichkeitsverteilungen für die Objekt-Größe von Objekten verschiedener Objektklassen lässt sich somit die Geometrie einer Oberfläche mit Objekten besonders genau und mit gegenüber herkömmlichen Verfahren deutlich reduziertem Fehler abschätzen.
Das hier vorgestellte, erfindungsgemäße Verfahren zum Parametrisieren einer Szene mit einer Oberfläche, auf welcher wenigstens zwei Objekte angeordnet sind, mittels einer im Abstand zu den Objekten angeordneten Kamera umfasst die im Folgenden erläuterten fünf Maßnahmen a) bis e).
Gemäß einer ersten Maßnahme a) wird mittels der Kamera ein Bild der Szene erzeugt, welches Bilddaten betreffend die wenigstens zwei Objekte enthält. In einerweiteren, zweiten Maßnahme b) werden in dem erzeugten Bild wenigstens zwei Objekte erkannt und die in dem Bild durch Auswertung der Bilddaten erkannten Objekte einer bestimmten Objektklasse zugeordnet. In einer dritten Maßnahme c) wird eine jeweiligen Objekt-Größe der wenigstens zwei erkannten Objekte in Abhängigkeit von wenigstens einem die Oberfläche charakterisierenden Oberflächenparameter abgeschätzt. In einer vierten Maßnahme d) wird für jedes der wenigstens zwei Objekteeine Einzel-Wahrscheinlichkeit berechnet, dass das Objekt die in Maßnahme c) abgeschätzte Objekt- Größe besitzt. Schließlich wird in einer fünften Maßnahme e) eine Szenenwahrscheinlichkeit aus den wenigstens zwei berechneten Einzel- Wahrscheinlichkeiten berechnet.
Gemäß einer bevorzugten Ausführungsform ist der wenigstens eine die Oberfläche charakterisierende Oberflächenparameter ein Winkel, den der von der Kamera zum Objekt verlaufende Hauptstrahl mit einer ebenen Referenzfläche bildet, auf welcher das Objekt angeordnet ist.
Gemäß einer bevorzugten Ausführungsform wird durch Variation des wenigstens einen die Oberfläche charakterisierenden Oberflächenparameters die Szenenwahrscheinlichkeit maximiert und derjenige Wert des wenigstens einen die Oberfläche parametrisierenden Parameters als Ergebnis des Verfahrens ausgegeben, bei welchem die Szenenwahrscheinlichkeit einen Maximalwert annimmt. Auf diese Weise lässt sich derjenige Wert des Oberflächenparameters, der die ausgewertete Szene am besten trifft, mit besonders hoher Genauigkeit bestimmen. Besonders zweckmäßig kann die Szenenwahrscheinlichkeit durch Multiplikation der wenigstens zwei berechneten Einzel- Wahrscheinlichkeiten berechnet werden. Somit ist die Szenenwahrscheinlichkeit mit nur sehr geringem Rechenaufwand ermittelbar.
Gemäß einer vorteilhaften Weiterbildung werden zur Ermittlung des gesuchten Maximalwerts zumindest die Maßnahmen c) bis e) unter Variation des wenigstens einen die Oberfläche charakterisierenden Parameters iterativ durchgeführt. Auch mit dieser Maßnahme geht eine nicht unerhebliche Vereinfachung des erfindungsgemäßen Verfahrens einher.
Zweckmäßig kann zur Abschätzung der Objekt-Größe eines jeweiligen Objekts in Maßnahme c) eine Entfernung des Objekts zur Kamera abgeschätzt und danach die Objekt-Größe des Objekts als Funktion der Entfernung berechnet werden. Eine solche Abschätzung der gesuchten Entfernung ist mittels relativ einfach handhabbarer strahlenoptischer Berechnungen möglich und somit einfach - insbesondere ohne größeren Rechenaufwand - durchführbar. Besonders bevorzugt kann die Entfernung dabei in Abhängigkeit von dem wenigstens einen die Oberfläche parametrisierenden Parameter abgeschätzt werden. Somit bleibt der die Oberfläche parametrisierende Parameter der einzig freie Parameter des gesamten Verfahrens.
Die Erfindung betrifft ferner ein Steuergerät mit einer Datenverarbeitungseinheit und mit einer Speichereinheit. Das erfindungsgemäße Steuergerät ist zur Durchführung des voranstehend erläuterten Verfahrens eingerichtet oder/und programmiert, so dass sich die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens auch für das erfindungsgemäße Steuergerät ergeben. Die Erfindung betrifft schließlich ein Kraftfahrzeug mit einer Kamera, deren Sichtfeld auf die Umgebung, insbesondere das Vorfeld, des Kraftfahrzeugs ausgerichtet ist, so dass die Kamera im Betrieb ein Bild der Umgebung des Kraftfahrzeugs erzeugen kann. Das Kraftfahrzeug umfasst ferner ein erfindungsgemäßes Steuergerät, das datenübertragend mit der Kamera verbunden ist. Somit übertragen sich die voranstehend erläuterten Vorteile des erfindungsgemäßen Verfahrens auch auf das erfindungsgemäße Kraftfahrzeug.
Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus der Zeichnung und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.
Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Komponenten beziehen.
Es zeigen, jeweils schematisch:
Fig. 1 beispielhaft eine typische Szene mit einem Objekt mit zu bestimmender Objekt-Größe, wofür welcher das erfindungsgemäße Verfahren zum Einsatz kommt,
Fig. 2 eine die Figur 1 ergänzende Darstellung, anhand welcher eine Berechnung des Abstands des Objekts von der Kamera und die Berechnung der sich aus dem berechneten Abstand ergebenden Objekt- Größe veranschaulicht wird,
Fig. 3 ein stark vereinfacht dargestelltes Ablauf-Diagramm des erfindungsgemäßen Verfahrens.
Figur 1 zeigt in schematischer Darstellung eine typische Szene 1, in welcher das erfindungsgemäße Verfahren zum Einsatz kommen kann.
Das Verfahren dient zum Parametrisieren einer in der Szene 1 vorhandenen Oberfläche 2, die wie in Figur 1 gezeigt nicht eben ausgebildet sein muss, sondern mit gekrümmtem Ober-flächenverlauf ausgebildet sein kann. In Figur 1 umfasst die Oberfläche 2 einen ersten Oberflächenabschnitt 2a, welcher eine Erhöhung 3a ausbildet, und einen und einen sich an den ersten Oberflächenabschnitt 2a anschließenden zweiten Oberflächenabschnitt 2b, welcher eine Vertiefung 3b ausbildet. An einem Übergang 4 zwischen der Vertiefung 3a und Erhöhung 3b ist auf der Oberfläche 2 ein Objekt 10 - im Beispiel eine Person 11 - angeordnet.
Im Bereich der Vertiefung 3b ist - im Abstand zum Objekt 10 - eine Kamera 5 vorhanden, deren Sichtfeld auf die Szene 1 mit der Oberfläche 2 ausgerichtet ist, so dass die Kamera 5 ein Bild der Oberfläche 2 mit dem darin angeordneten Objekt 10 erzeugen kann. Bei der Kamera 5 kann es sich etwa um eine Video-Kamera handeln, die in einem Kraftfahrzeug (nicht gezeigt) verbaut sein kann.
Typischerweise sind in der Szene 1 zwei oder mehr Objekte 10 angeordnet, der Einfachheit halber ist in Figur 1 jedoch nur ein einziges Objekt 10 dargestellt.
Der Verlauf der Oberfläche 2, insbesondere der Vertiefung 3b und der Erhöhung 3a, lässt sich wie in Figur 1 gezeigt durch einen Winkel a parametrisieren, den der von der Kamera 5 zum Objekt 10 verlaufende Hauptstrahl S mit einer ebenen Referenzfläche RE bildet, auf welcher das Objekt 10 angeordnet ist.
In der Figur 2 ist die Höhe der Kamera 5, also deren senkrechter Abstand zur Referenzebene Rastelement, mit h bezeichnet. Neben dem bereits erwähnten Winkel a, welche die Neigung der Kamera 5 gegenüber der Referenzebene RE wiedergibt, ist der Winkel zwischen dem Hauptstrahl S der Kamera 5 und dem sich von der Kamera 5 zum Fußpunkt F erstreckende Sehstrahl V als Winkel ß definiert. Der Fußpunkt F wiederum ist der Schnittpunkt des Objekts 10 mit der Referenzebene RE.
Die Figur 3 zeigt ein Ablaufdiagramm des erfindungsgemäßen Verfahrens. In einer ersten Maßnahme a) des Verfahrens wird mittels der Kamera 5 ein Bild der Szene 1 erzeugt. Dieses Bild enthält Bilddaten betreffend die Oberfläche 2 und auch die auf der Oberfläche 2 angeordneten Objekte 10. Gemäß einer auf die erste Maßnahme a) folgenden zweiten Maßnahme b) werden wenigstens zwei der in der Szene 1 vorhandenen Objekte 10 durch Auswertung der mittels der Kamera 5 erzeugten Bilddaten erkannt. Jedes erkannte Objekt 10 wird dabei einer bestimmten Objektklasse OK aus einer vorgegebenen Menge M solcher Objektklasse OK zugeordnet. Mögliche Objektklassen sind beispielsweise "Kraftfahrzeuge",
"Fußgänger", "Verkehrszeichen", "Verkehrsbarken", "Verkehrsampeln", usw.
Beispielsweise durch Mustererkennung kann im Zuge des Verfahrens auf herkömmliche Weise bestimmt werden, welcher Objektklasse OK das jeweils erkannte Objekt 10 zuzuordnen ist. Im Beispiel der Figur 1 wird das erkannte Objekt 10 Form der Objektklasse „Fußgänger" zugeordnet. In dieser Weise wird in Maßnahme b) für alle erkannten Objekte 10 verfahren. In einerweiteren Maßnahme c) wird für jedes erkannte Objekt 10 in Abhängigkeit von dem die Oberfläche charakterisierenden Winkel a die Objekt-Größe des jeweils erkannten Objekts 10 abgeschätzt. Die Berechnung der Objekt-Größe als Funktion des Winkels a, also des Winkels zwischen der Referenzebene RE und dem Hauptstrahl S von der Kamera 5 zum Kopfpunkt K des Objekt 10, wird im Folgenden anhand der Figur 2 erläutert. Hierzu werden dem Fachmann aus der Strahlenoptik bekannte Zusammenhänge angewandt.
Im Folgenden ist ß der Zwischenwinkel zwischen dem Sehstrahl V, der sich von der Kamera 5 zu einem Fußpunkt F erstreckt, in welchem das Objekt 10 die Referenzebene RE berührt.
Außerdem ist der Hauptpunkt PP derjenige Punkt, der im Abstand f von der Kamera 5 auf dem Hauptstrahl S angeordnet ist, wobei f die Brennweite der Kamera 5 - ausgedrückt in optischen Pixeln des Bildes - ist. Eine Bildebene B verläuft senkrecht zum Hauptstrahl S durch den Hauptpunkt PP. Als Punkt PF ist derjenige Punkt bezeichnet, in welchem sich der Sehstrahl V der Kamera 5 mit der Ebene B schneidet.
Es gilt ß= arctan((X) / f ) (1),
Dabei ist X der Abstand des Hauptpunktes PP zum Punkt PF, die beide auf der Bildebene B angeordnet sind.
Der geschätzte Abstand d des Objekts 10 zur Kamera 5 ergibt sich in Abhängigkeit vom Winkel a zu: d(a) h * tan (a + ß) (2), dabei ist h der Abstand der Kamera 5 zur Referenz-Ebene RE. Die geschätzte Objekt-Größe s, also der Abstand zwischen Kopfpunkt K und Fußpunkt F des Objekts 10, ergibt sich in Abhängigkeit vom Winkel a zu:
S(a) = d(a) * s_p / f (3), wobei f die Brennweite der Kamera 5 ist und s_p eine Objekt-Größe des Objekts 10 in Bild-Pixeln auf dem mittels der Kamera 5 erzeugten Bild.
Wie voranstehend erläutert wird für jedes in Maßnahme b) erkannte Objekt 10 dessen Objekt-Größe s geschätzt. Werden beispielsweise in Maßnahme b) vier verschiedene Objekte 10 erkannt, so werden vier Objekt-Größen s1(a), s2(a), s3(a), s4(a) geschätzt.
Für die verschiedenen Objektklassen OK lässt sich eine Statistik bezüglich deren Objekt-Größenverteilung bilden, sodass man der voranstehend erläuterten geschätzten Objekt-Größe s(a) eine
Auftretenswahrscheinlichkeit POK (s(a)) zuordnen kann, welche wiederum aus einer vorgegebenen Wahrscheinlichkeits-Verteilung berechnet werden kann. Dies gilt für alle erkannten Objekte und somit für alle geschätzten Objekt-Größen. Falls die verschiedenen Objekte unterschiedlichen Objektklassen zugeordnet werden, so werden sie auch unterschiedlichen Objekt-Größenverteilungen zugewiesen.
Im Zuge einerweiteren Maßnahme d) wird für jedes in Maßnahme b) erkannte Objekt unter Berücksichtigung der in Maßnahme b) erfolgten Klassifizierung eine Einzel-Wahrscheinlichkeit P(s(a)) berechnet, dass das Objekt die in Maßnahme c) abgeschätzte Objekt-Größe besitzt. Hierfür muss für jede auftretende Objektklasse die vorbekannte Wahrscheinlichkeits-Verteilung herangezogen und daraus die Einzel- Wahrscheinlichkeit POK (s(a)) berechnet werden. Werden beispielsweise in Maßnahme b) vier Objekte erkannt, so werden vier Einzel- Wahrscheinlichkeiten Pi(s(a)), P2(s(a)), P3(s(a)), P s(a)) berechnet. Schließlich wird in einer weiteren Maßnahme e) aus den in Maßnahme e) für jedes erkannte Objekt 10 berechneten Einzel-Wahrscheinlichkeiten Pi(s(a)), P2(s(a)), P3(s(a)), P4(s(a)) eine Szenenwahrscheinlichkeit Pges (a) berechnet. Die Szenenwahrscheinlichkeit Pges (a) kann etwa durch Multiplikation der in Maßnahme d) berechneten
Einzelwahrscheinlichkeiten Pi(s(a)), P2(s(a)), P3(s(a)), P s(a)) berechnet werden, also Pges (a) = Pi(s(a)) * P2(s(a)) * P3(s(a)) * P4(s(a)).
Durch Variation des wenigstens einen die Oberfläche charakterisierenden Oberflächenparameter - im Beispiel also des Winkels a - wird nun beim erfindungsgemäße Verfahren die Szenenwahrscheinlichkeit Pges (a) maximiert. Als Ergebnis E des Verfahrens wird und derjenige Wert des Winkels a ausgegeben, bei welchem wenigstens einen die Oberfläche parametrisierenden Parameters als Ergebnis des Verfahrens ausgegeben wird, bei welchem die Szenenwahrscheinlichkeit Pges (a) einen Maximalwert annimmt, also E = max (Pges (a)) für alle in Betracht kommenden a. Zur Ermittlung des gesuchten Maximalwerts max (Pges (a)) können zumindest die Maßnahmen c) bis e) unter Variation des wenigstens einen die Oberfläche charakterisierenden Parameters - also des Winkels a - iterativ durchgeführt werden. Der auf diese Weise als Ergebnis E ermittelte Wert für den Winkel a kann als derjenige Wert angesehen, der die tatsächliche Szene am besten wiedergibt.

Claims

Patentansprüche
1. Verfahren zum Parametrisieren einer Szene (1) mit einer Oberfläche (2), auf welcher wenigstens zwei Objekte (10) angeordnet sind, mittels einer im Abstand zu den Objekten (10) angeordneten Kamera (5), umfassend die folgenden Maßnahmen: a) Mittels der Kamera: Erzeugen eines Bildes (B) der Szene (1 ), welches Bilddaten (BD) betreffend die Objekte enthält; b) Erkennen von wenigstens zwei Objekten (10) in dem Bild (B) durch Auswertung der Bilddaten (BD) und Zuordnen des jeweils erkannten Objekts (10) zu einer bestimmten Objektklasse (OK); c) Abschätzung einer jeweiligen Objekt-Größe (s(a)) der wenigstens zwei erkannten Objekte (10) in Abhängigkeit von wenigstens einem die Oberfläche (2) charakterisierenden Oberflächenparameter (a); d) Für jedes der wenigstens zwei Objekte (10): Berechnen einer Einzel- Wahrscheinlichkeit P(s(a)) so, dass das Objekt (10) die in Maßnahme c) abgeschätzte Objekt-Größe (s) besitzt; e) Berechnen einer Szenen-Wahrscheinlichkeit (Pges) aus den wenigstens zwei berechneten Einzel-Wahrscheinlichkeiten P(s(a)).
2. Verfahren nach Anspruch 1 , dadurch gekennzeichnet, dass der wenigstens eine die Oberfläche (2) charakterisierende Oberflächen-parameter (a) ein Winkel ist, den ein von der Kamera (5) zum jeweiligen Objekt (10), insbesondere zu dessen Kopfpunkt (K), geradlinig verlaufender Hauptstrahl (S) mit einer Referenzebene (RF) bildet, auf welcher das jeweilige Objekt (10), insbesondere mit seinem dem Kopfpunkt (K) gegenüberliegenden Fußpunkt (F), angeordnet ist.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass durch Variation des wenigstens einen die Oberfläche (2) charakterisierenden Oberflächenparameters (cs) die Szenenwahrscheinlichkeit maximiert wird und derjenige Wert des wenigstens einen die Oberfläche (2) parametrisierenden Parameters (cs) als Ergebnis (E) des Verfahrens ausgegeben wird, bei welchem die Szenenwahrscheinlichkeit (Pges) einen Maximalwert max (Pges (a)) annimmt.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Szenen-Wahrscheinlichkeit (Pges) durch Multiplikation der wenigstens zwei berechneten Einzel- Wahrscheinlichkeiten P(s(a)) miteinander berechnet wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Ermittlung des gesuchten Maximalwerts max(Pges (a)) zumindest die Maßnahmen c) bis e) unter Variation des wenigstens einen die Oberfläche (2) charakterisierenden Parameters (a) iterativ durchgeführt werden.
6. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zur Abschätzung der Objekt-Größe (s) eines jeweiligen Objekts (10) in Maßnahme c) eine Entfernung (d) des Objekts zur Kamera (10) abgeschätzt wird und die Objekt-Größe (s) des Objekts (10) als Funktion der Entfernung (d) berechnet wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass die Entfernung (d) in Abhängigkeit von dem wenigstens einen die Oberfläche parametrisierenden Parameter (a) abgeschätzt wird.
8. Steuergerät für ein Kraftfahrzeug,
- mit einer Datenverarbeitungseinheit und mit einer Speichereinheit und eingerichtet oder/und konfiguriert zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet/programmiert ist.
9. Kraftfahrzeug,
- mit einer Kamera (5), deren Sichtfeld auf die Umgebung, insbesondere das Vorfeld, des Kraftfahrzeugs ausgerichtet ist, so dass die Kamera (5) im Betrieb ein Bild der Umgebung erzeugen kann, - mit einem Steuergerät nach Anspruch 8, welches datenübertragend mit der Kamera verbunden ist und welche zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche eingerichtet/programmiert ist.
PCT/EP2022/062780 2021-06-10 2022-05-11 Verfahren zum parametrisieren einer szene WO2022258289A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/547,966 US20240233160A9 (en) 2021-06-10 2022-05-11 Method for parameterizing a scene
CN202280041619.XA CN117480524A (zh) 2021-06-10 2022-05-11 用于将场景参数化的方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102021205836.1 2021-06-10
DE102021205836.1A DE102021205836A1 (de) 2021-06-10 2021-06-10 Verfahren zum Parametrisieren einer Szene

Publications (1)

Publication Number Publication Date
WO2022258289A1 true WO2022258289A1 (de) 2022-12-15

Family

ID=81984875

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2022/062780 WO2022258289A1 (de) 2021-06-10 2022-05-11 Verfahren zum parametrisieren einer szene

Country Status (3)

Country Link
CN (1) CN117480524A (de)
DE (1) DE102021205836A1 (de)
WO (1) WO2022258289A1 (de)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180531A1 (en) * 2014-12-22 2016-06-23 Delphi Technologies, Inc. Method To Determine Distance Of An Object From An Automated Vehicle With A Monocular Device
US10580164B2 (en) * 2018-04-05 2020-03-03 Microsoft Technology Licensing, Llc Automatic camera calibration

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160180531A1 (en) * 2014-12-22 2016-06-23 Delphi Technologies, Inc. Method To Determine Distance Of An Object From An Automated Vehicle With A Monocular Device
US10580164B2 (en) * 2018-04-05 2020-03-03 Microsoft Technology Licensing, Llc Automatic camera calibration

Also Published As

Publication number Publication date
CN117480524A (zh) 2024-01-30
DE102021205836A1 (de) 2022-12-15
US20240135569A1 (en) 2024-04-25

Similar Documents

Publication Publication Date Title
EP3785177A1 (de) Verfahren und vorrichtung zum ermitteln einer netzkonfiguration eines neurona-len netzes
DE102006057552A1 (de) System und Verfahren zur Messung des Abstands eines vorausfahrenden Fahrzeugs
DE102015117379A1 (de) Verfahren zum Erfassen eines dynamischen Objekts in einem Umgebungsbereich eines Kraftfahrzeugs auf Basis von Informationen einer kraftfahrzeugseitigen Ultraschalldetektionseinrichtung, Fahrerassistenzsystem und Kraftfahrzeug
WO2020061603A1 (de) Verfahren und vorrichtung zur analyse eines sensordatenstroms sowie verfahren zum führen eines fahrzeugs
WO2020216795A1 (de) Verfahren und vorrichtung zum optimieren eines bonding-verfahrens mithilfe eines bayes' schen optimierungsprozesses
EP2834630A1 (de) Verfahren zur prüfung eines bauteils basierend auf barkhausenrauschen
DE102020120887B4 (de) Verfahren zum erfassen einer einhängeposition eines auflagestegs und flachbettwerkzeugmaschine
DE102018103474A1 (de) Ein system und verfahren zur objektabstandserkennung und positionierung
WO2022258289A1 (de) Verfahren zum parametrisieren einer szene
EP4043976B1 (de) Verfahren und system zur vermessung von bauteilen sowie programm
DE19581950B4 (de) Automatisches Formberechnungsverfahren und Vorrichtung für eine Konturformmessmaschine
DE102021202878A1 (de) Verfahren zur Reichweitenbestimmung für einen LiDAR-Sensor
WO2021063572A1 (de) Vorrichtung und verfahren zum verarbeiten von daten eines neuronalen netzes
WO2021063571A1 (de) Verfahren und vorrichtung zum betreiben eines elektrochemischen bearbeitungssystems
EP1889754B1 (de) Verfahren und Vorrichtung zur Ansteuerung von Personenschutzmitteln und Computerprogrammprodukt
DE102005028252A1 (de) Verfahren zur rechnergestützten Verarbeitung von digitalen Daten
DE102019220615A1 (de) Verfahren und Vorrichtung zum Erkennen und Klassifizieren von Objekten
DE102019210129A1 (de) Verfahren zum Überprüfen einer Kalibrierung mehrerer Sensoren und Kraftfahrzeug mit mehreren Sensoren
WO2002092248A1 (de) Verfahren zum automatisierten auswählen von blechen, insbesondere stahlblechen, für das umformen zu bauelementen
EP4130656B1 (de) Vorbereitung der auswertung von stichproben von messwerten einer messgrösse aus einer vermessung einer vielzahl von werkstücken durch ein oder mehrere koordinatenmessgeräte
DE102022208384A1 (de) Verfahren zum Ermitteln eines Qualitätszustands eines Prüfobjekts
DE102021002907A1 (de) Verfahren zum dynamischen Anpassen eines Sensors, Steuervorrichtung zur Durchführung eines solchen Verfahrens, Sensoranpassungsvorrichtung mit einer solchen Steuervorrichtung und Kraftfahrzeug mit einer solchen Sensoranpassungsvorrichtung
EP3916495A1 (de) Verfahren und anordnung zum auswerten oder zum vorbereiten einer auswertung einer stichprobe von messdaten aus einer vermessung einer vielzahl von werkstücken
EP1179802B1 (de) Verfahren und Einrichtung zur Erstellung von Korrelations-Bildpunktmengen
EP4278329A1 (de) Verfahren und system zum erkennen von in einem bild anhand einer punktwolke repräsentierten objekten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22728816

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18547966

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280041619.X

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22728816

Country of ref document: EP

Kind code of ref document: A1