WO2021121489A1 - Verfahren zur erkennung von landmarken und fussgängern - Google Patents

Verfahren zur erkennung von landmarken und fussgängern Download PDF

Info

Publication number
WO2021121489A1
WO2021121489A1 PCT/DE2020/200110 DE2020200110W WO2021121489A1 WO 2021121489 A1 WO2021121489 A1 WO 2021121489A1 DE 2020200110 W DE2020200110 W DE 2020200110W WO 2021121489 A1 WO2021121489 A1 WO 2021121489A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedestrian
image
surroundings
pose
contour
Prior art date
Application number
PCT/DE2020/200110
Other languages
English (en)
French (fr)
Inventor
Martin PFITZER
Stefan Heinrich
Manuel du Bois
Felix Hachfeld
Elias Strigel
Original Assignee
Conti Temic Microelectronic Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic Gmbh filed Critical Conti Temic Microelectronic Gmbh
Priority to DE112020006161.2T priority Critical patent/DE112020006161A5/de
Publication of WO2021121489A1 publication Critical patent/WO2021121489A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition

Definitions

  • the invention relates to a method for the improved recognition of landmarks and pedestrians.
  • document EP2580739A2 shows monocular 3D pose assessment and tracking by recognition.
  • Document US2009175540A1 likewise shows a system, a method and a computer program product for assessing a pose of a human upper body.
  • the pose is represented by a skeleton representation.
  • a rectangular bounding box is placed around the recognized pedestrian, since it is difficult to capture the exact contour. This is also shown in the figures of EP2580739A2. This approach is also used for other objects such as vehicles in order to be able to quickly estimate the maximum dimensions of the respective object.
  • the bounding box can become very large depending on the object or the orientation and / or distance of the object from the optical sensor and, if necessary, relevant environmental features are covered by the bounding box.
  • the first considerations were that the bounding box of a pedestrian can be very large depending on the distance to the camera or with the appropriate posture, e.g. arms stretched away from the body. This is a problem when pedestrians are to be left out of the image for localization in order to carry out a clearer landmark recognition, since if the bounding boxes are too large, relevant landmarks may not be recognized.
  • the invention proposes a method for improved recognition of landmarks and pedestrians with the following steps:
  • the surroundings detection sensor is preferably a mono camera or a stereo camera of a vehicle.
  • the use of one or more surround view cameras would also be conceivable.
  • An image of the surroundings or a sequence of images of the surroundings is recorded with at least one of these cameras.
  • An algorithm is then applied to images, which recognizes objects and people in images.
  • a contour finding is carried out, for example.
  • Corresponding contours are therefore searched for in the entire image of the surroundings, and pedestrian detection is thus carried out.
  • So-called convolutional nerve networks (CNN) or neural networks, for example, are suitable for this.
  • CNNs can be trained for pedestrian recognition, among other things, in order to be able to deduce a pedestrian based on certain features in the image of the surroundings.
  • Landmarks can then be determined in the processed image.
  • a pose of the pedestrian is segmented after the contour has been found.
  • a skeleton-like representation can be generated for the detected pedestrian as an embodiment of the contour finding.
  • This skeleton-like representation is generated by detecting key points or key points by connecting the recognized key points to one another.
  • the skeleton-like representation accordingly represents a relative position and orientation of individual body parts of the pedestrian A list is stored in the neural network, for example, by means of which the segments can be assigned to specific body parts. It would also be conceivable that instead of the skeleton-like representation and the key point detection as an embodiment of the contour finding, a semantic segmentation is carried out by means of which pedestrians and the poses of these pedestrians can also be detected.
  • a segment bounding box is assigned to each segment.
  • the contour or, in general, the size of the pedestrian can be determined more precisely. This is particularly advantageous if the areas with pedestrians are omitted for a localization algorithm, since the recessed areas of the individual segment bounding boxes are smaller than an area of a single bounding box encompassing the entire pedestrian.
  • the method is also particularly advantageous in particular when several pedestrians are recognized.
  • a much larger area would be covered by the bounding boxes and even more potentially usable landmarks would be left out.
  • the remaining image of the surroundings then only corresponds to the surroundings without pedestrians. This is advantageous because it reduces the image or the amount of data and a smaller one Area of the surrounding image must be checked for landmarks.
  • the landmark recognition itself can also be implemented by means of semantic segmentation. In the light of the invention, cutting out the bounding boxes is understood to mean leaving out the areas covered by the segment bounding boxes.
  • a spatial extension of certain key points in the image area is modeled for the segmentation of the pose.
  • These specific key points can for example
  • the spatial extent corresponds to a modeling of the proportions of the at least one recognized pedestrian. This allows the size of the individual body parts to be modeled in an advantageous manner in order to then be able to adapt the size of the segment bounding boxes accordingly.
  • Another advantageous embodiment provides that assumptions are made about the contour of the pedestrian on the basis of the modeled proportions. This can also be taken into account when calculating the size of the segment bounding boxes.
  • the pose is segmented into head, torso, legs and arms. This way you can easily segment the pose. Furthermore, the precise detection of the individual body parts is advantageous for various assistance systems, since, for example, the orientation of the head or the legs results in a pedestrian intention can be derived. Here segment bounding boxes are created for the arms, legs, head and torso.
  • 2a and 2b each show a schematic representation of a skeleton-like representation of a pedestrian
  • FIG. 3 shows a schematic representation of a bounding box approach according to the invention
  • FIG. 4 shows a schematic flow diagram of an embodiment of the invention.
  • Figure la and lb each show a schematic view of a bounding box approach according to the prior art.
  • a pedestrian 1 is detected by means of a camera of a vehicle.
  • a bounding box 2 is placed around this recognized pedestrian 1 in order to be able to estimate the dimensions of the pedestrian 1.
  • an area 3 with a potential landmark is located within the bounding box 2. If the bounding box 2 of FIGS. 1 a and 1 b were left out for a localization algorithm, the areas 3 with a potential landmark would also be left out and these landmarks would not be available for the localization.
  • Figures 2a and 2b show a schematic representation of a skeleton-like representation 4 of a pedestrian 1.
  • a skeleton-like representation 4 is generated for the recognized pedestrian 1.
  • Key points 6 or key points can also be seen, some of which correspond to articulation points of the pedestrian 1 and which define the rough course of the skeleton-like representation 4.
  • the pose of the pedestrian 1 can already be estimated with this representation.
  • this representation is not suitable for describing the exact size or the dimensions of the pedestrian 1, since the skeleton-like representation 4 merely describes a rough representation of the pedestrian.
  • FIG. 3 shows a schematic representation of a bounding box approach according to the invention.
  • a skeleton-like representation 4 with the corresponding key points 6 as shown in FIG. 2b is also shown here. This serves as the starting point for the respective segment bounding boxes 5, which describe the individual segments of the pose of the pedestrian 1.
  • segment bounding boxes 5 are generated on the basis of this modeling and the contour of the pedestrian 1 can thus be inferred.
  • FIG. 4 shows a schematic flow diagram of an embodiment of the invention.
  • step S1 an image of the surroundings is recorded by means of at least one surroundings detection sensor of a vehicle.
  • step S2 a contour finding for recognizing a pedestrian is then carried out.
  • step S3 the recognized contour of the pedestrian is cut out from the image of the surroundings and in a subsequent step S4 landmarks are then determined in the image of the surroundings. List of reference symbols

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern (1) mit den folgenden Schritten: - Aufnehmen (S1) eines Umgebungsbildes (7) mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs; - Durchführen (S2) einer Konturfindung in dem Umgebungsbild (7) zum Erkennen eines Fußgängers - Ausschneiden (S3) einer erkannten Kontur des Fußgängers (1) aus dem Umgebungsbild (7) und; - Ermitteln (S4) von Landmarken in dem Umgebungsbild (7).

Description

Besehreibung
VERFAHREN ZUR ERKENNUNG VON LANDMARKEN UND FUSSGANGERN
Die Erfindung betrifft ein Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern.
Aus dem Stand der Technik sind bereits Verfahren zur Detektion und Erfassung von Fußgängern hinreichend bekannt.
So zeigt beispielsweise die Druckschrift EP2580739A2 eine Monokulare 3D-Poseneinschätzung und Verfolgung durch Erkennung. Ebenso zeigt die Druckschrift US2009175540A1 ein System, ein Verfahren und ein Computerprogrammprodukt zum Einschätzen einer Pose eines menschlichen Oberkörpers.
Bei den bisher bekannten Verfahren wird die Pose über eine Skelettdarstellung repräsentiert. Zum Festlegen eines relevanten Bereichs, in welchem sich der Fußgänger befindet, wird jeweils eine rechteckige Bounding-Box um den erkannten Fußgänger gelegt, da das Erfassen der genauen Kontur schwierig ist. Dies ist so auch in den Figuren der EP2580739A2 gezeigt. Dieser Ansatz wird auch bei anderen Objekten wie Fahrzeugen verwendet, um schnell die maximalen Ausmaße des jeweiligen Objekts abschätzen zu können.
Nachteilig bei den genannten Verfahren ist, dass die Bounding-Box je nach Objekt bzw. Ausrichtung und/oder Entfernung des Objekts zum optischen Sensor sehr groß werden kann und ggf. relevante Umgebungsmerkmale durch die Bounding- Box verdeckt sind.
Aus diesem Grund ist es eine Aufgabe der vorliegenden Erfindung ein Verfahren für eine verbesserte Objekt- und Fußgängererkennung bereitzustellen, wodurch auch die weitere Bildverarbeitung sowie eine Landmarkenerkennung verbessert werden kann.
Diese Aufgabe wird durch den Gegenstand des unabhängigen Anspruchs 1 gelöst. Weitere vorteilhafte Ausgestaltungen sind Gegenstand der Unteransprüche.
Erste Überlegungen waren dahingehend, dass die Bounding-Box eines Fußgängers je nach Entfernung zur Kamera oder bei entsprechender Körperhaltung, wie z.B. vom Körper weggestreckte Arme sehr groß ausfallen kann. Dies ist dann ein Problem, wenn Fußgänger für eine Lokalisierung aus dem Bild ausgespart werden sollen, um eine eindeutigere Landmarkenerkennung durchzuführen, da bei zu großen Bounding- Boxes ggf. relevante Landmarken nicht erkannt werden können.
Hierfür wird erfindungsgemäß ein Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern mit den folgenden Schritten vorgeschlagen:
- Aufnehmen eines Umgebungsbildes mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs;
- Durchführen einer Konturfindung in dem Umgebungsbild zum Erkennen eines Fußgängers;
- Ausschneiden einer erkannten Kontur des Fußgängers aus dem Umgebungsbild und;
- Ermitteln von Landmarken in dem Umgebungsbild.
Bei dem Umfelderfassungssensor handelt es sich bevorzugt um eine Monokamera oder eine Stereokamera eines Fahrzeugs. Denkbar wäre auch die Verwendung einer oder mehrerer Surroundview Kameras. Mit zumindest einer dieser Kameras wird ein Umgebungsbild bzw. eine folge an Umgebungsbildern aufgenommen. Auf dieses Umgebungsbild bzw. die Folge aus Bildern wird dann ein Algorithmus angewandt, welcher Objekte und Personen in Bildern erkennt. Hierfür wird beispielsweise eine Konturfindung durchgeführt. Somit wird in dem gesamten Umgebungsbild nach entsprechenden Konturen gesucht und somit eine Fußgängerdetektion durchgeführt. Geeignet hierfür sind beispielsweise sog. Convolutional Nerual Networks (CNN) bzw. neuronale Netzwerke. Diese CNNs können unter anderem für eine Fußgängererkennung trainiert werden, um anhand von bestimmten Merkmalen in dem Umgebungsbild auf einen Fußgänger schließen zu können.
Nach dem Erkennen der Konturen eines Fußgängers können diese aus dem Umgebungsbild ausgeschnitten werden. Durch das Ausschneiden entlang der erkannten Konturen kann im Gegensatz zu einem klassischen Bounding-Box Ansatz, bei welchem eine Bounding-Box den gesamten Fußgänger umgibt, verhindert werden, dass potentielle Landmarken fälschlicherweise ausgeschnitten werden, da die Kontur in der Regel direkt am Fußgänger oder zumindest sehr nahe am Fußgänger verläuft. So wird nur der Fußgänger selbst und kein bzw. nur sehr wenig von dem Umfeld des Fußgängers ausgeschnitten.
Hiernach können in dem bearbeiteten Bild Landmarken ermittelt werden.
In einer besonders Bevorzugten Ausführungsform wird nach der Konturfindung eine Pose des Fußgängers segmentiert.
Für den detektierten Fußgänger kann als Ausgestaltung der Konturfindung eine skelettähnliche Darstellung generiert werden. Diese skelettähnliche Darstellung wird mittels Detektion von Schlüsselpunkten bzw. Key-Points generiert, indem die erkannten Key-Points miteinander verbunden werden. Die skelettähnliche Darstellung stellt demnach eine relative Position und Ausrichtung einzelner Körperteile des Fußgängers dar. In dem neuronalen Netz ist beispielsweise eine Liste hinterlegt, mittels welcher sich die Segmente bestimmten Körperteilen zuordnen lassen. Denkbar wäre auch, dass anstelle der skelettähnlichen Darstellung und der Key-Point Detektion als Ausgestaltung der Konturfindung eine semantische Segmentierung durchgeführt wird, mittels welcher ebenfalls Fußgänger und Posen dieser Fußgänger detektierbar sind.
In einer weiteren bevorzugten Ausführungsform wird nach der Segmentierung der Pose des Fußgängers jedem Segment eine Segment-Bounding-Box zugeordnet. Durch das Zuordnen einer Segment-Bounding-Box zu jedem Segment der Pose lässt sich die Kontur bzw. allgemein die Größe des Fußgängers genauer bestimmen. Dies ist insbesondere dann vorteilhaft, wenn die Bereiche mit Fußgängern für einen Lokalisierungsalgorithmus ausgespart werden, da die ausgesparten Bereiche der einzelnen Segment-Bounding-Boxes kleiner sind, als ein Bereich einer einzigen, den gesamten Fußgänger umfassenden Bounding-Box.
Auf diese Weise wird verhindert, dass Landmarken, welche für die Lokalisierung potentiell wichtig sind, aufgrund einer zu großen Bounding-Box ausgespart werden und dem Lokalisierungsalgorithmus nicht mehr zur Verfügung stehen.
Das Verfahren ist weiterhin insbesondere bei mehreren erkannten Fußgängern besonders vorteilhaft. Bei mehreren Personen wäre mit dem derzeitigen Stand der Technik ein weitaus größerer Bereich durch die Bounding-Boxes abgedeckt und noch mehr potentiell nutzbare Landmarken würden ausgespart werden. So ist bevorzugt vorgesehen, die Segment- Bounding-Boxes auszuschneiden, um dann in dem verbliebenen Umgebungsbild eine Landmarkenerkennung durchzuführen. Das verbliebene Umgebungsbild entspricht dann lediglich der Umgebung ohne Fußgänger. Dies ist vorteilhaft, da dadurch das Bild bzw. die Datenmenge verkleinert wird und ein kleinerer Bereich des Umgebungsbildes auf Landmarken überprüft werden muss. Die Landmarkenerkennung selbst kann ebenfalls mittels einer semantischen Segmentierung realisiert werden. Unter Ausschneiden der Bounding-Boxes wird im Lichte der Erfindung das Aussparen der durch die Segment-Bounding-Boxes abgedeckten Bereiche verstanden.
In einer bevorzugten Ausführungsform wird für die Segmentierung der Pose eine räumliche Ausdehnung von bestimmten Key-Points im Bildbereich modelliert. Diese bestimmten Key-Points können beispielsweise
Gelenkverbindungen von Armen und Beinen sein. Alternativ oder kumulativ können mit diesen Key-Points beispielsweise die Verbindung zwischen Kopf und Torso festgelegt werden.
In einer weiteren Ausgestaltung entspricht die räumliche Ausdehnung einer Modellierung der Proportionen des zumindest einen erkannten Fußgängers. Hiermit lässt sich auf vorteilhafte Weise die Größe der einzelnen Körperteile modellieren, um dann die Größe der Segment-Bounding-Boxes entsprechend daran anpassen zu können.
Eine weitere vorteilhafte Ausführungsform sieht vor, dass auf Basis der modellierten Proportionen Annahmen über die Kontur des Fußgängers getroffen werden. Auch dies kann bei der Berechnung der Größe der Segment-Bounding-Boxes berücksichtigt werden.
Weiter wird in einer Ausgestaltung die Pose in Kopf, Torso, Beine und Arme segmentiert. Auf diese Weise lässt dich die Pose auf einfache Weise segmentieren. Weiterhin ist die präzise Erkennung der einzelnen Körperteile für verschiedene Assistenzsysteme vorteilhaft, da sich bspw. aus der Ausrichtung des Kopfes oder der Beine eine Fußgängerintention ableiten lässt. Hierbei werden Segment-Boundig-Boxes für die Arme, Beine, den Kopf und den Torso erzeugt.
Weitere vorteilhafte Ausgestaltungen ergeben sich aus den Zeichnungen .
Darin zeigen:
Fig. la und lb jeweils eine schematische Ansicht eines Bounding-Box Ansatzes gemäß dem Stand der Technik
Fig. 2a und 2b jeweils eine schematische Darstellung einer skelettähnlichen Darstellung eines Fußgängers;
Fig. 3 eine schematische Darstellung eines erfindungsgemäßen Bounding-Box Ansatzes;
Fig. 4 ein schematisches Ablaufdiagramm einer Ausführungsform der Erfindung.
Figur la und lb zeigen jeweils eine schematische Ansicht eines Bounding-Box Ansatzes gemäß dem Stand der Technik. In den Figuren la und lb wird ein Fußgänger 1 mittels einer Kamera eines Fahrzeugs erfasst. Um diesen erkannten Fußgänger 1 wird eine Bounding-Box 2 gelegt, um die Abmessungen des Fußgängers 1 abschätzen zu können. Wie in den beiden Figuren gezeigt liegt innerhalb der Bounding-Box 2 ein Bereich 3 mit einer potentiellen Landmarke. Würde nun die Bounding-Box 2 der Figuren la und lb für einen Lokalisierungsalgorithmus ausgespart, würde die Bereiche 3 mit einer potentiellen Landmarke ebenfalls ausgespart und diese Landmarken würden für die Lokalisierung nicht zur Verfügung stehen. Die Figuren 2a und 2b zeigen eine schematische Darstellung einer skelettähnlichen Darstellung 4 eines Fußgängers 1. Hierbei wird eine skelettähnliche Darstellung 4 für den erkannten Fußgänger 1 generiert. Weiterhin zu sehen sind Key- Points 6 bzw. Schlüsselpunkte, welche zum Teil Gelenkpunkten des Fußgängers 1 entsprechen und welche den groben Verlauf der skelettähnlichen Darstellung 4 festlegen. Mit dieser Darstellung lässt sich bereits die Pose des Fußgängers 1 abschätzen. Allerdings ist diese Darstellung nicht geeignet die genaue Größe bzw. die Abmessungen des Fußgängers 1 zu beschreiben, da die skelettähnliche Darstellung 4 lediglich eine grobe Darstellung des Fußgängers beschreibt.
In Figur 3 ist eine schematische Darstellung eines erfindungsgemäßen Bounding-Box Ansatzes gezeigt. Hierbei ist auch eine skelettähnliche Darstellung 4 mit den entsprechenden Key-Points 6 wie in Figur 2b gezeigt. Diese dient als Ausgangsbasis für die jeweiligen Segment-Bounding- Boxes 5, welche die einzelnen Segmente der Pose des Fußgängers 1 beschreiben. Hierfür wird eine räumliche Ausdehnung der Fußgängerproportionen modelliert. Auf Basis dieser Modellierung werden die Segment-Bounding-Boxes 5 erzeugt und somit kann auf die Kontur des Fußgängers 1 geschlossen werden.
Figur 4 zeigt ein schematisches Ablaufdiagramm einer Ausführungsform der Erfindung. In Schritt S1 wird ein Umgebungsbild mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs aufgenommen. In Schritt S2 wird daraufhin eine Konturfindung zum Erkennen eines Fußgängers durchgeführt. In Schritt S3 wird die erkannte Kontur des Fußgängers aus dem Umgebungsbild ausgeschnitten und in einem darauffolgenden Schritt S4 werden daraufhin Landmarken in dem Umgebungsbild ermittelt. Bezugszeichenliste
1 Fußgänger
2 Bounding-Box 3 Bereich mit potentieller Landmarke
4 skelettähnliche Darstellung
5 Segment-Bounding-Box
6 Key-Points 7 Umgebungsbild S1-S6 Verfahrensschritte

Claims

Patentansprüche
1.Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern (1) mit den folgenden Schritten:
- Aufnehmen (Sl) eines Umgebungsbildes (7) mittels zumindest eines Umfelderfassungssensors eines Fahrzeugs;
- Durchführen (S2) einer Konturfindung in dem Umgebungsbild (7) zum Erkennen eines Fußgängers
- Ausschneiden (S3) einer erkannten Kontur des Fußgängers (1) aus dem Umgebungsbild (7) und;
- Ermitteln (S4) von Landmarken in dem Umgebungsbild (7).
2.Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass nach der Konturfindung eine Pose des Fußgängers (1) segmentiert wird.
3.Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass nach der Segmentierung der Pose jedem Segment der segmentierten Pose des Fußgängers (1) eine Segment- Bounding-Box (5) zugeordnet wird.
4.Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass für die Segmentierung der Pose eine räumliche Ausdehnung von bestimmten Key-Points (6) im Bildbereich modelliert wird .
5.Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass die räumliche Ausdehnung einer Modellierung der Proportionen des zumindest einen erkannten Fußgängers (1) entspricht.
6.Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass auf Basis der modellierten Proportionen Annahmen über die Kontur des Fußgängers (1) getroffen werden.
7.Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Pose in Kopf, Torso, Beine und Arme segmentiert wird .
PCT/DE2020/200110 2019-12-18 2020-12-08 Verfahren zur erkennung von landmarken und fussgängern WO2021121489A1 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112020006161.2T DE112020006161A5 (de) 2019-12-18 2020-12-08 Verfahren zur Erkennung von Landmarken und Fußgängern

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
DE102019220013 2019-12-18
DE102019220013.3 2019-12-18
DE102020200572.9 2020-01-20
DE102020200572.9A DE102020200572A1 (de) 2019-12-18 2020-01-20 Verfahren zur verbesserten Erkennung von Landmarken und Fußgängern

Publications (1)

Publication Number Publication Date
WO2021121489A1 true WO2021121489A1 (de) 2021-06-24

Family

ID=76206561

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2020/200110 WO2021121489A1 (de) 2019-12-18 2020-12-08 Verfahren zur erkennung von landmarken und fussgängern

Country Status (2)

Country Link
DE (2) DE102020200572A1 (de)
WO (1) WO2021121489A1 (de)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175540A1 (en) 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
EP2580739A2 (de) 2010-06-12 2013-04-17 Toyota Motor Europe NV/SA Monokulare 3d-poseneinschätzung und verfolgung durch erkennung
US20180047175A1 (en) * 2016-08-12 2018-02-15 Nanjing Huajie Imi Technology Co., Ltd Method for implementing human skeleton tracking system based on depth data
DE102016219503A1 (de) * 2016-10-07 2018-04-12 Audi Ag Verfahren und Fahrerassistenzsystem zur Erkennung der Intention eines Fußgängers zur Querung einer Ego-Fahrspur
US20180120561A1 (en) * 2015-12-31 2018-05-03 Huawei Technologies Co., Ltd. Image Information Processing Method and Augmented Reality AR Device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212665B2 (en) * 2004-11-05 2007-05-01 Honda Motor Co. Human pose estimation with data driven belief propagation
US11761790B2 (en) * 2016-12-09 2023-09-19 Tomtom Global Content B.V. Method and system for image-based positioning and mapping for a road network utilizing object detection
DE102017216000A1 (de) * 2017-09-11 2019-03-14 Conti Temic Microelectronic Gmbh Gestensteuerung zur Kommunikation mit einem autonomen Fahrzeug auf Basis einer einfachen 2D Kamera

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090175540A1 (en) 2007-12-21 2009-07-09 Honda Motor Co., Ltd. Controlled human pose estimation from depth image streams
EP2580739A2 (de) 2010-06-12 2013-04-17 Toyota Motor Europe NV/SA Monokulare 3d-poseneinschätzung und verfolgung durch erkennung
US20180120561A1 (en) * 2015-12-31 2018-05-03 Huawei Technologies Co., Ltd. Image Information Processing Method and Augmented Reality AR Device
US20180047175A1 (en) * 2016-08-12 2018-02-15 Nanjing Huajie Imi Technology Co., Ltd Method for implementing human skeleton tracking system based on depth data
DE102016219503A1 (de) * 2016-10-07 2018-04-12 Audi Ag Verfahren und Fahrerassistenzsystem zur Erkennung der Intention eines Fußgängers zur Querung einer Ego-Fahrspur

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ARTURO FLORES ET AL: "Removing pedestrians from Google street view images", COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS (CVPRW), 2010 IEEE COMPUTER SOCIETY CONFERENCE ON, IEEE, PISCATAWAY, NJ, USA, 13 June 2010 (2010-06-13), pages 53 - 58, XP031728442, ISBN: 978-1-4244-7029-7 *
JAN B?HM: "MULTI-IMAGE FUSION FOR OCCLUSION-FREE FA?ADE TEXTURING", INTERNATIONAL ARCHIVES OF THE PHOTOGRAMMETRY, REMOTE SENSING AND SPATIAL INFORMATION SCIENCES, 23 July 2004 (2004-07-23), pages 867 - 872, XP055105677, Retrieved from the Internet <URL:http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.2.3870&rep=rep1&type=pdf> [retrieved on 20140305] *

Also Published As

Publication number Publication date
DE112020006161A5 (de) 2022-09-29
DE102020200572A1 (de) 2021-06-24

Similar Documents

Publication Publication Date Title
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE102014222617B4 (de) Fahrzeugerfassungsverfahren und Fahrzeugerfassungssytem
DE102018206208A1 (de) Verfahren, Vorrichtung, Erzeugnis und Computerprogramm zum Betreiben eines technischen Systems
EP1480187A2 (de) Kamerabasierte Positionserkenung für ein Strassenfahrzeug
DE102017203276B4 (de) Verfahren und Vorrichtung zur Ermittlung einer Trajektorie in Off-road-Szenarien
DE112016001150T5 (de) Schätzung extrinsischer kameraparameter anhand von bildlinien
DE102004028763A1 (de) Andockassistent
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102018100909A1 (de) Verfahren zum Rekonstruieren von Bildern einer Szene, die durch ein multifokales Kamerasystem aufgenommen werden
EP2562681B1 (de) Objektverfolgungsverfahren für ein Kamerabasiertes Fahrerassistenzsystem
DE102020129743A1 (de) Vorrichtung und verfahren zur vermessung, inspektion oder bearbeitung von objekten
EP3293971B1 (de) Verfahren zur nachführung eines bildausschnitts
DE102018121866A1 (de) Verfahren zur Tiefenabschätzung von zweidimensionalen Sensordaten
WO2021121489A1 (de) Verfahren zur erkennung von landmarken und fussgängern
DE102020201939A1 (de) Verfahren und Vorrichtung zur Bewertung eines Bildklassifikators
DE102013017621A1 (de) Verfahren zur Auswertung von stereoskopisch erfassten Einzelbildern
EP3704631A2 (de) Verfahren zur ermittlung einer entfernung zwischen einem kraftfahrzeug und einem objekt
DE102017104957A1 (de) Verfahren zum Bestimmen einer Bewegung von zueinander korrespondierenden Bildpunkten in einer Bildsequenz aus einem Umgebungsbereich eines Kraftfahrzeugs, Auswerteeinrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102014117708A1 (de) Verfahren zum Klassifizieren eines Flussvektors, Fahrerassistenzsystem und Kraftfahrzeug
WO2019072451A1 (de) Verfahren zum verarbeiten von bildern
EP3555808A1 (de) Vorrichtung zur bereitstellung einer verbesserten hinderniserkennung
DE102021212485B3 (de) Verfahren und Vorrichtung zum autonomen Einstecken eines Ladesteckers in eine Ladesteckdose eines Fahrzeugs
EP4253188A1 (de) Justage einer detektion eines schienenstrangs auf basis einer registrierung eines schienenmodells mit einem kamerabild
DE102020215639A1 (de) Verfahren zum Erzeugen eines Erkennungsmodells zum Erkennen von Merkmalen in Kamerabilddaten und Verfahren zum Erkennen von Merkmalen in Kamerabilddaten
EP4293634A1 (de) Verfahren, prozessorschaltung und computerlesbares speichermedium zum durchführen einer verkehrsobjektdetektion in einem kraftfahrzeug

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20841883

Country of ref document: EP

Kind code of ref document: A1

REG Reference to national code

Ref country code: DE

Ref legal event code: R225

Ref document number: 112020006161

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20841883

Country of ref document: EP

Kind code of ref document: A1