WO2019115192A1 - Verfahren zum erstellen einer merkmalbasierten lokalisierungskarte für ein fahrzeug unter berücksichtigung charakteristischer strukturen von objekten - Google Patents

Verfahren zum erstellen einer merkmalbasierten lokalisierungskarte für ein fahrzeug unter berücksichtigung charakteristischer strukturen von objekten Download PDF

Info

Publication number
WO2019115192A1
WO2019115192A1 PCT/EP2018/082122 EP2018082122W WO2019115192A1 WO 2019115192 A1 WO2019115192 A1 WO 2019115192A1 EP 2018082122 W EP2018082122 W EP 2018082122W WO 2019115192 A1 WO2019115192 A1 WO 2019115192A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
feature
map
creating
data
Prior art date
Application number
PCT/EP2018/082122
Other languages
English (en)
French (fr)
Inventor
Peter Christian Abeling
Daniel Zaum
Original Assignee
Robert Bosch Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch Gmbh filed Critical Robert Bosch Gmbh
Priority to KR1020207020016A priority Critical patent/KR20200097772A/ko
Priority to EP18814502.3A priority patent/EP3724811A1/de
Priority to JP2020532759A priority patent/JP7427587B2/ja
Priority to CN201880080604.8A priority patent/CN111480165A/zh
Priority to US16/767,764 priority patent/US11442462B2/en
Publication of WO2019115192A1 publication Critical patent/WO2019115192A1/de

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/29—Geographical information databases
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3833—Creation or updating of map data characterised by the source of data
    • G01C21/3841—Data obtained from two or more sources, e.g. probe vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3804—Creation or updating of map data
    • G01C21/3859—Differential updating map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
    • G01C21/3863—Structures of map data
    • G01C21/3867—Geometry of map features, e.g. shape points, polygons or for simplified maps
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters

Definitions

  • the invention relates to a method for creating a feature-based localization map for a vehicle.
  • the invention further relates to a
  • the invention further relates to a computer program product.
  • SLAM simultaneous localization and mapping
  • an automated measurement vehicle e.g., robot, not shown
  • Estimate motion estimates (e.g., by inertial sensors,
  • the measuring vehicle determines its surroundings by means of a series of measurements by targeting identified observations of landmarks.
  • Each of the landmarks may be observed multiple times from each observation point, so there are more landmark measurements than current landmarks.
  • the goal of Graph-SLAM or Full-SLAM is to determine from the measurements of the measuring vehicle the true path of the measuring vehicle which the measuring vehicle has taken through the surroundings or the real positions of the surroundings. This is done by comparing the landmarks to each Measuring point were determined performed. In this process, the true map of the environment is to be determined. This is done by corresponding measurements of the same landmark from different measurement points, which are used to perform a measurement vehicle path estimation and environmental detection simultaneously.
  • An object of the present invention is to provide an improved method for creating a feature-based location map for a vehicle.
  • the object is achieved according to a first aspect with a method for creating a feature-based localization map for a vehicle, comprising the steps:
  • the object is achieved with a device for creating a feature-based localization map for a vehicle, comprising:
  • a determination device for determining data of at least one object in the environment of the vehicle
  • an identifying device for identifying characteristic structures of the at least one object; a summarizing means for summarizing the characteristic structures into a simplification structure of the object;
  • an inserter for inserting the simplification structure into the feature-based location map.
  • An advantageous development of the method provides that at least one of: radar sensor, ultrasound sensor, lidar sensor, camera is used to determine the data of the at least one object in the environment of the vehicle. In this way, the method can be realized with a multiplicity of different sensor concepts.
  • Operation record the data of at least one object in the environment of the vehicle.
  • a further advantageous development of the method provides that prior knowledge is used to identify the characteristic structures of the at least one object. In this way, the identification of the characteristic structures of the at least one object can be performed more efficiently and faster. For example, for this purpose
  • a further advantageous development of the method provides that the card is updated at defined intervals, preferably after a defined number of days, more preferably after a defined number of hours. In this way, a high utility of such a trained feature-based location map is supported for many users.
  • a further advantageous development of the method provides that data of objects in the environment of vehicles are provided by means of a crowdsourcing-based approach.
  • non-dedicated investigation vehicles must capture the data of the objects, but it can ordinary road users to create the proposed feature-based localization map.
  • a determination quality is advantageously increased in this way.
  • Disclosed method features are analogous to corresponding disclosed device features and vice versa. This means
  • Fig. 1 is a schematic representation of an effect of
  • FIG. 3 shows basic illustrations of effects of conventional and inventive SLAM-based map generation
  • Fig. 4 is a block diagram of a proposed device for
  • FIG. 5 shows a basic sequence of a proposed method for creating a feature-based localization map for a vehicle.
  • an automated motor vehicle can also be understood synonymously as a partially automated motor vehicle, autonomous motor vehicle and partially autonomous motor vehicle.
  • Ultrasonic sensors are known.
  • these systems generally also have a radio interface (for example realized via a connectivity unit) for transmitting the measured sensor data to a server.
  • a radio interface for example realized via a connectivity unit
  • a server for example, a server for transmitting the measured sensor data to a server.
  • entire vehicle fleets can map their collective environment using the vehicle sensors by providing their sensor data, e.g. transferred to a server.
  • the transmission of such so-called “fleet mapping data” is known.
  • the sensor data is collected on the server and a digital map for the relevant road section is generated from the data of several trips and / or vehicles.
  • the digital maps determined in this way also called HAD maps, AD maps or HD maps
  • HAD maps, AD maps or HD maps are used, inter alia, for locating automatically moving vehicles in the digital map (for example for determining trajectories).
  • landmarks are used, which are listed in the digital map with their exact geographical position.
  • Typical landmarks are eg lane markings, street signs, guardrails, etc. If an automatically driving vehicle recognizes one or more landmarks with the aid of the vehicle sensor system and can clearly find these landmarks in the digital map, this can result in a very accurate relative position of the vehicle relative to the landmark of the digital map be derived. Density and quality of the landmarks thus significantly affect a quality of localization with respect to the accuracy of the detected position. In reality, there are sections of track that have many and well-usable landmarks, as well as sections that have poor coverage of landmarks, which may result in poor localization quality.
  • the mentioned graph-based SLAM algorithms are used for the purpose of mapping and can in principle be divided into two basic steps:
  • This step envisages identifying identical features of multiple runs of the same area by comparing recognized landmarks.
  • the identified relationships between measurement positions of different journeys are expressed as edges of a graph representation.
  • SLAM-generated maps As stated above, one of the key aspects of SLAM-generated maps is that the data from multiple trips along the route be included in the map. Therefore, most Real World objects are represented multiple times in the map after the optimization step, after being observed during each trip that contributes to the map.
  • SLAM techniques are used to generate maps from crowdsourced data that allow for precise feature-based localization.
  • the feature-based localization provides that a mapped representation of observed objects in the environment of the vehicle is compared with data of a current environmental sensation of the vehicle and compared with them. This results in an estimate of the current one
  • a clustering step in SLAM-based map generation generally works well with punctiform targets using well-known algorithms, e.g. Masts for traffic signs.
  • FIG. 1 shows in three views a), b), c) a principle of a determination of a balanced radar localization map and a corresponding idealized compression of this map using known methods for clustering punctiform objects. It can be seen in Fig. 1a by means of a radar sensor detected guard rail attachment points of the card. In Fig. 1c is indicated that the detected guard rail attachment points are sufficiently represented by individual points in the compressed representation.
  • a key idea of the present invention is to provide representations of feature-based location maps not only using point-like representations of objects, but to provide for describing complex structures in a more complex manner to thereby facilitate alignment of data with the object
  • FIG. 2 a shows an exemplary complex object in the form of a symbolized electric power pole, which is represented in FIG. 2 b in a conventional manner by a single point-shaped object.
  • Fig. 3a shows probability ranges A1, A2 of a localization associated with a specific representation of the object. Recognizable are a relatively large region A1 of high localization quality and a relatively large region A2 of low localization quality, based on a punctiform representation e.g. an object "power pole" in the feature-based
  • Fig. 3b which is shown in the same scale as Fig. 3a, that the two said probability ranges A1, A2 by a Representation of the object "power pole" in the above-mentioned semi-semantic manner with several points are advantageously substantially reduced.
  • a more accurate location for the vehicle can be achieved in comparison with the ratios of FIG. 3a by means of the feature-based localization map and detected radar sensor data.
  • an autonomous or automated driving function can be maintained longer for an automated vehicle.
  • the autonomous or automated driving function is switched off, whereupon the driver at least temporarily manual control of the vehicle
  • the proposed method can also be used with other sensors, e.g. a lidar, ultrasonic sensor, or a camera can be performed.
  • sensors e.g. a lidar, ultrasonic sensor, or a camera can be performed.
  • a location-based map with a crowd-sourcing-based approach such that a large number of vehicles that do not act as dedicated discovery vehicles transmit the captured data to a central location (not shown) that updates the feature-based location map, for example, at a defined high update frequency of a few days or hours.
  • the vehicles providing the feature-based data can thus both be data providers for the feature-based localization map and at the same time users of the map currently being created.
  • FIG. 4 shows, in principle, a block diagram of a device 100 for creating a feature-based localization map.
  • the determination device 110 for determining data by means of an object in the environment of the vehicle.
  • the determination device 110 is functionally connected to an identification device 120, which is used for Identifying characteristic structures of the at least one object is provided.
  • the identification device 120 is operatively connected to a summarizer 130, which is provided for summarizing the characteristic structures into a simplification structure of the object.
  • the summarizer 130 is operatively connected to an inserter 100 for inserting the
  • Simplification structure is provided in the feature-based localization map.
  • the proposed method can be implemented as a software with program code means for running on an electronic device 100, whereby an easy changeability and adaptability of the method is supported.
  • FIG. 5 shows a basic sequence of an embodiment of the invention
  • a determination of data of at least one object in the environment of the vehicle is performed.
  • a step 210 identification of characteristic structures of the at least one object is performed.
  • a summary of the characteristic structures to a simplification structure of the object is performed.
  • step 230 an insertion of the simplification structure into the feature-based location map is performed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Geometry (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug, aufweisend die Schritte: - Ermitteln von Daten wenigstens eines Objekts im Umfeld des Fahrzeugs; - Identifizieren von charakteristischen Strukturendes wenigstens einen Objekts; - Zusammenfassen der charakteristischen Abschnitte zu einer Vereinfachungsstruktur des Objekts; und - Einfügen der Vereinfachungsstruktur in die merkmalbasierte Lokalisierungskarte.

Description

Beschreibung
Titel
Verfahren zum Erstellen einer merkmalbasierten Lokalisierunqskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten
Die Erfindung betrifft ein Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug. Die Erfindung betrifft ferner eine
Vorrichtung zum Erstellen einer merkmalbasierten Lokationskarte für ein
Fahrzeug. Die Erfindung betrifft ferner ein Computerprogrammprodukt.
Stand der Technik
Bekannt sind Techniken aus dem Gebiet der gleichzeitigen Lokalisierung und Kartierung (engl simultaneous localization and mapping, SLAM), um mittels Sensordaten Umgebungskarten für individuelle Messfahrzeuge oder große Fahrzeugflotten zu erstellen. Entsprechende Anwendungen finden sich vor allem in den Gebieten Robotik, Logistik, Fahrzeugtechnik, Luftfahrt, Konsumgüter, usw.
Um genaue Umgebungskarten aus Fahrzeugsensorbeobachtungen (z.B. in Form von Radar, Video, Lidar, usw.) zu erstellen, haben sich insbesondere Graph- basierte SLAM-Verfahren durchgesetzt.
Bei SLAM ohne örtlichen Bezug bewegt sich ein automatisiertes Messfahrzeug (z.B. Roboter, nicht dargestellt) entlang eines unbekannten Pfades mit definierten Messpositionen, wobei das Messfahrzeug seine Bewegung durch
Bewegungsschätzungen schätzen kann (z.B. mittels Inertialsensorik,
Radumdrehungs-Sensorik, usw.). Aus jeder Position ermittelt das Messfahrzeug seine Umgebung mit Hilfe einer Reihe von Messungen durch ein Abzielen auf identifizierte Beobachtungen von Landmarken. Jede der Landmarken kann von jedem Beobachtungspunkt unter Umständen mehrfach beobachtet werden, daher existieren mehr Landmarkenmessungen als aktuelle Landmarken.
Das Ziel von Graph-SLAM bzw. Full-SLAM ist es, aus den Messungen des Messfahrzeugs den wahren Pfad des Messfahrzeugs, den das Messfahrzeug durch die Umgebung genommen hat bzw. die realen Positionen der Umgebung zu ermitteln. Dies wird durch ein Vergleichen der Landmarken, die an jedem Messpunkt ermittelt wurden, durchgeführt. In diesem Prozess soll auch die wahre Karte der Umgebung ermittelt werden. Dies geschieht durch korrespondierende Messungen derselben Landmarke von unterschiedlichen Messpunkten aus, wobei diese benutzt werden, um einen Messfahrzeugpfad-Schätzung und die Umgebungserkennung gleichzeitig durchzuführen.
Offenbarung der Erfindung
Eine Aufgabe der vorliegenden Erfindung ist es, ein verbessertes Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug bereit zu stellen.
Die Aufgabe wird gemäß einem ersten Aspekt gelöst mit einem Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug, aufweisend die Schritte:
Ermitteln von Daten wenigstens eines Objekts im Umfeld des Fahrzeugs; Identifizieren von charakteristischen Strukturen des wenigstens einen Objekts;
Zusammenfassen der charakteristischen Strukturen zu einer
Vereinfachungsstruktur des Objekts; und
Einfügen der Vereinfachungsstruktur in die merkmalbasierte
Lokalisierungskarte.
Auf diese Weise wird teilsemantische Analyse aus den ermittelten Daten z.B. in Form von Sensorrohdaten durchgeführt, mit dem Zweck, die komplexen
Strukturen zu vereinfachten Strukturen zusammen zu fassen. Auf diese Weise kann ein Datenvolumen der digitalen merkmalbasierten Lokalisierungskarte verringert und eine Lokalisierungsgüte wesentlich verbessert sein.
Gemäß einem zweiten Aspekt wird die Aufgabe gelöst mit einer Vorrichtung zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug, aufweisend:
eine Ermittlungseinrichtung zum Ermitteln von Daten wenigstens eines Objekts im Umfeld des Fahrzeugs;
eine Identifizierungseinrichtung zum Identifizieren von charakteristischen Strukturen des wenigstens einen Objekts; eine Zusammenfassungseinrichtung zum Zusammenfassen der charakteristischen Strukturen zu einer Vereinfachungsstruktur des Objekts; und
eine Einfügungseinrichtung zum Einfügen der Vereinfachungsstruktur in die merkmalbasierte Lokalisierungskarte.
Vorteilhafte Weiterbildungen des Verfahrens sind Gegenstand von abhängigen Ansprüchen.
Eine vorteilhafte Weiterbildung des Verfahrens sieht vor, dass zum Ermitteln der Daten des wenigstens einen Objekts im Umfeld des Fahrzeugs wenigstens eines aus: Radarsensor, Ultraschallsensor, Lidarsensor, Kamera verwendet wird. Auf diese Weise kann das Verfahren mit einer Vielzahl von unterschiedlichen Sensorkonzepten realisiert werden. Dabei können die genannten
Ermittlungseinrichtungen separat und/oder auch in einer kombinierten
Betriebsweise die Daten des wenigstens einen Objekts im Umfeld des Fahrzeugs erfassen.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass zum Identifizieren der charakteristischen Strukturen des wenigstens einen Objekts Vorwissen verwendet wird. Auf diese Weise kann das Identifizieren der charakteristischen Strukturen des wenigstens einen Objekts noch effizienter und schneller durchgeführt werden. Beispielsweise können zu diesem Zweck
Kataloge mit Produkttypen bzw. Typen von Strukturen verwendet werden, die auf aktuellstem Stand gehalten werden.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass die Karte in definierten Intervallen, bevorzugt nach einer definierten Anzahl von Tagen, noch mehr bevorzugt nach einer definierten Anzahl von Stunden, aktualisiert wird. Auf diese Art und Weise ist ein hoher Nutzwert einer derart ausgebildeten merkmalbasierten Lokalisierungskarte für viele Nutzer unterstützt.
Eine weitere vorteilhafte Weiterbildung des Verfahrens sieht vor, dass Daten von Objekten im Umfeld von Fahrzeugen mittels eines crowdsourcing-basierten Ansatzes bereitgestellt werden. Vorteilhaft müssen auf diese Art und Weise nicht dedizierte Ermittlungsfahrzeuge die Daten der Objekte erfassen, sondern es können gewöhnliche Verkehrsteilnehmer zur Erstellung der vorgeschlagenen merkmalbasierten Lokalisierungskarte beitragen. Eine Ermittlungsgüte ist auf diese Weise vorteilhaft gesteigert.
Die Erfindung wird im Folgenden mit weiteren Merkmalen und Vorteilen anhand von mehreren Figuren näher beschrieben.
Offenbarte Verfahrensmerkmale ergeben sich analog aus entsprechenden offenbarten Vorrichtungsmerkmalen und umgekehrt. Dies bedeutet
insbesondere, dass sich Merkmale, technische Vorteile und Ausführungen betreffend das Verfahren in analoger Weise aus entsprechenden Ausführungen, Merkmalen und technischen Vorteilen betreffend die Vorrichtung zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug ergeben und umgekehrt.
In den Figuren zeigt:
Fig. 1 eine prinzipielle Darstellung einer Wirkungsweise von
herkömmlicher SLAM-basierter Kartenerstellung;
Fig. 2 prinzipielle Darstellungen einer Wirkungsweise von
herkömmlicher und erfindungsgemäßer SLAM-basierter Kartenerstellung;
Fig. 3 prinzipielle Darstellungen von Effekten von herkömmlicher und erfindungsgemäßer SLAM-basierter Kartenerstellung;
Fig. 4 ein Blockschaltbild einer vorgeschlagenen Vorrichtung zum
Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug; und
Fig. 5 einen prinzipiellen Ablauf eines vorgeschlagenen Verfahrens zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug.
Beschreibung von Ausführungsformen lm Folgenden kann unter einem automatisierten Kraftfahrzeug synonym auch ein teilautomatisiertes Kraftfahrzeug, autonomes Kraftfahrzeug und teilautonomes Kraftfahrzeug verstanden werden.
Methoden und Systeme zur Kartierung von befahrenen Straßen mithilfe von in den Fahrzeugen eingebauten Sensoren (z.B. Kameras, Radarsensoren,
Ultraschallsensoren, usw.) sind bekannt. Diese Systeme verfügen neben den genannten Sensoren in der Regel auch über eine Funkschnittstelle (z.B. realisiert über eine Konnektivitäts-Einheit, engl connectivity-unit) zur Übertragung der gemessenen Sensordaten an einen Server. Auf diese Weise können ganze Fahrzeugflotten ihre kollektive Umgebung mithilfe der Fahrzeugsensoren kartieren, indem sie ihre Sensordaten z.B. an einen Server übertragen. Die Übertragung derartiger sogenannter„Flotten-Kartierungsdaten“ ist bekannt.
Auf dem Server werden die Sensordaten gesammelt und aus den Daten von mehreren Fahrten und/oder Fahrzeugen eine digitale Karte für den relevanten Straßenabschnitt generiert. Die auf diese Weise ermittelten digitalen Karten (auch HAD-Karten, AD-Karten oder HD-Karten genannt) werden unter anderem dafür eingesetzt, dass sich automatisch fahrende Fahrzeuge in der digitalen Karte lokalisieren können (z.B. für eine Ermittlung von Trajektorien). Hierbei werden sogenannte Landmarken verwendet, welche in der digitalen Karte mit ihrer exakten geographischen Position verzeichnet sind.
Typische Landmarken sind z.B. Fahrbahnmarkierungen, Straßenschilder, Leitplanken, usw. Erkennt ein automatisch fahrendes Fahrzeug eine oder mehrere Landmarken mithilfe der Fahrzeugsensorik und kann diese Landmarken in der digitalen Karte eindeutig wiederfinden, kann daraus eine sehr genaue relative Position des Fahrzeugs relativ zur Landmarke der digitalen Karte abgeleitet werden. Eine Dichte und Qualität der Landmarken beeinflusst somit wesentlich eine Qualität der lokalen Lokalisierung im Hinblick auf die Genauigkeit der ermittelten Position. In der Realität existieren Streckenabschnitte, bei denen viele und gut verwendbare Landmarken vorhanden sind, sowie Abschnitte, in denen eine schlechte Abdeckung an Landmarken vorliegt, so dass daraus unter Umständen eine schlechte Qualität der Lokalisierung resultieren kann. Die genannten graphbasierten SLAM-Algorithmen werden zum Zwecke des Mapping benutzt und können im Prinzip in zwei grundsätzliche Schritte aufgeteilt werden:
1. SLAM Frontend
Dieser Schritt sieht vor, identische Merkmale von mehreren Befahrungen desselben Gebiets durch ein Vergleichen von erkannten Landmarken zu bestimmen.
Die identifizierten Beziehungen zwischen Messpositionen von unterschiedlichen Fahrten werden als Kanten einer Graph-Darstellung ausgedrückt.
2. SLAM Backend
Dabei erfolgt eine Optimierung der Graph-Resultate des vorgenannten Frontend- Schrittes mit dem Zweck eine optimale Lösung zu finden, welche alle
Bedingungen erfüllt.
Wie oben ausgeführt, ist es einer der Kernaspekte der SLAM-generierten Karten, dass die Daten von mehreren Fahrten entlang der Strecke in die Karte einbezogen werden. Daher sind die meisten Reale-Welt-Objekte nach dem Optimierungsschritt in der Karte mehrfach repräsentiert, nachdem diese während jeder Fahrt, die zur Karte beiträgt, beobachtet wurden.
Daher sind optimierte Daten von mehreren Fahrten in einem finalen Clustering Schritt verdichtet, der als Merkmalskartenerstellung bezeichnet wird mit dem Ziel einer Reduzierung der Kartengröße und einer Optimierung von Karteninhalten hinsichtlich Ausführbarkeit zur Lokalisierung. Alle vorgenannten Schritte sind im Stand der Technik bereits bekannt.
Im Bereich des automatisierten Fahrens werden SLAM-Techniken benutzt, um aus crowdsourcing-basierten Daten Karten zu generieren, die eine präzise merkmalsbasierte Lokalisierung ermöglichen. Mit den angekündigten Produkten „Radar Road Signature“ und„Video Road Signature“ ist Robert Bosch in diesem technischen Feld sehr aktiv. Die merkmalsbasierte Lokalisation sieht vor, dass eine kartierte Repräsentation von beobachteten Objekten in der Umgebung des Fahrzeugs mit Daten einer aktuellen Umgebungssensierung des Fahrzeugs verglichen und mit diesen abgeglichen wird. Dies resultiert in einer Schätzung der aktuellen
Fahrzeugposition in Relation zur Lokalisierungskarte.
Ein wie vorgehend erläuterter Verdichtungs- bzw. Clustering-Schritt in SLAM- basierten Kartengenerierung funktioniert unter Verwendung von bekannten Algorithmen in der Regel gut bei punktförmigen Zielen, wie z.B. Masten für Verkehrsschilder.
Fig. 1 zeigt in drei Ansichten a), b), c) ein Prinzip einer Ermittlung einer abgeglichenen Radar-Lokalisierungskarte und eine entsprechende idealisierte Verdichtung dieser Karte unter Verwendung von bekannten Methoden zum Clustering von punktförmigen Objekten. Man erkennt in Fig. 1 a mittels eines Radarsensors erfasste Leitplanken-Befestigungspunkte der Karte. In Fig. 1c ist angedeutet, dass die erfassten Leitplanken-Befestigungspunkte durch einzelne Punkte in der verdichteten Repräsentation ausreichend repräsentiert sind.
Nichtsdestoweniger sind einige Strukturen in der Repräsentation unter
Verwendung der punktförmigen Darstellungen der Leitplanken- Befestigungspunkte nicht ausreichend beschrieben. Dies kann in nachteiliger Weise eine Effizienz einer Lokalisierungskarte, die nur punktförmige Objekte für einen Abgleichvorgang im Zuge der Lokalisierung bereitstellt, vermindern.
Vorgeschlagen wird mit der Erfindung ein verbessertes Verfahren mit folgenden Vorteilen:
- Eine Verdichtung von radarbasierten Lokalisierungskarten unter Verwendung von nicht nur punktförmigen Objekten, sondern auch von Objekten mit beliebigen Strukturen und Formen, die in Form von„Vereinfachungsstrukturen“ dargestellt werden
- Dadurch bedingtes reduziertes Datenvolumen von resultierenden verdichteten Karten - Verbesserte Lokalisierungsergebnisse aufgrund von mittels der
Vereinfachungsstrukturen erreichten verbesserten Objektrepräsentationen
Ein Kerngedanke der vorliegenden Erfindung ist es, Repräsentationen von merkmalsbasierten Lokalisierungskarten nicht nur unter Verwendung von punktförmigen Repräsentationen von Objekten bereit zu stellen, sondern vorzusehen, dass komplexe Strukturen in einer komplexeren Art und Weise beschrieben werden, um dadurch den Abgleich von Daten mit der
Lokalisierungskarte und die Lokalisierungsgüte zu verbessern. Nachdem ein semantisches Beschreiben aller Arten von komplexen Formen, welche ein Radarsensor erfassen kann, nicht durchführbar ist, wird vorgeschlagen, komplexe Strukturen mit einer größeren, aber im Vergleich zu einer
semantischen Beschreibung immer noch geringen Anzahl von Punkten darzustellen.
Ein Prinzip dieser Vorgehensweise ist in drei Darstellungen a), b) und c) von Fig. 2 dargestellt. Man erkennt in Fig. 2a ein beispielhaftes komplexes Objekt in Form eines symbolisiert dargestellten elektrischen Strommasten, der in Fig. 2b in herkömmlicher Art und Weise durch ein einzelnes punktförmiges Objekt repräsentiert ist.
Erfindungsgemäß wird vorgeschlagen, den elektrischen Strommast durch eine Struktur mit mehreren Punkten wie in Fig. 2c darzustellen, die eine teil- semantische Darstellung des Objekts„Strommast“ realisiert. Diese teil- semantische Darstellung abstrahiert Daten einer aktuellen Radarmessung in einer genaueren Art und Weise und erlaubt im oben erläuterten Abgleichvorgang der erfassten Daten eine höhere Präzision, wie es prinzipiell in zwei
Darstellungen a) und b) von Fig. 3 dargestellt ist.
Fig. 3a zeigt Wahrscheinlichkeitsbereiche A1 , A2 einer Lokalisierung, der mit einer spezifischen Darstellung des Objekts verbunden ist. Erkennbar sind ein relativ großer Bereich A1 von hoher Lokalisierungsgüte sowie ein relativ großer Bereich A2 von geringer Lokalisierungsgüte, basierend auf einer punktförmigen Repräsentation z.B. eines Objekts„Strommast“ in der merkmalbasierten
Lokalisierungskarte.
Demgegenüber zeigt Fig. 3b, die im gleichen Maßstab wie Fig. 3a dargestellt ist, dass die beiden genannten Wahrscheinlichkeitsbereiche A1 , A2 durch eine Repräsentation des Objekts„Strommast“ in der oben genannten teil- semantischen Art und Weise mit mehreren Punkten vorteilhaft wesentlich verringert sind. Im Ergebnis wird dadurch erreicht, dass im Vergleich mit den Verhältnissen von Fig. 3a mittels der merkmalbasierten Lokalisierungskarte und erfassten Radarsensordaten eine genauere Verortung für das Fahrzeug erreichbar ist.
Vorteilhaft ist dadurch unterstützt, dass für ein automatisiertes Fahrzeug eine autonome oder automatisierte Fahrfunktion länger aufrechterhalten werden kann. Im Falle, dass die Lokalisierung mittels der erfassten Sensordaten und der merkmalbasierten Lokalisierungskarte nicht mehr möglich ist, wird beispielsweise die autonome bzw. automatisierte Fahrfunktion abgeschaltet, woraufhin der Fahrer wenigstens temporär eine manuelle Steuerung des Fahrzeugs
übernehmen muss.
Obwohl das erläuterte Verfahren beispielhaft mit einem Radarsensor
beschrieben wurde, versteht es sich von selbst, dass das vorgeschlagene Verfahren auch mit anderen Sensoren wie z.B. einem Lidar-, Ultraschallsensor, bzw. einer Kamera durchgeführt werden kann.
Vorzugweise erfolgt das Erstellen einer derartigen merkmalbasierten
Lokalisierungskarte mit einem crowd-sourcing-basierten Ansatz, sodass eine große Anzahl von Fahrzeugen, die nicht als dedizierte Ermittlungsfahrzeuge fungieren, die erfassten Daten an eine zentrale Stelle (nicht dargestellt) übermitteln, die die merkmalbasierte Lokalisierungskarte hochaktuell erstellt, beispielsweise mit einer definiert hohen Aktualisierungsfrequenz von wenigen Tagen bzw. Stunden.
Die die merkmalbasierten Daten bereitstellenden Fahrzeuge können somit sowohl Datenlieferanten für die merkmalbasierte Lokalisierungskarte und gleichzeitig Nutzer der aktuell erstellten Karte sein.
Fig. 4 zeigt prinzipiell ein Blockschaltbild einer Vorrichtung 100 zum Erstellen einer merkmalbasierten Lokalisierungskarte.
Man erkennt eine Ermittlungseinrichtung 110 zum Ermitteln von Daten mittels eines Objekts im Umfeld des Fahrzeugs. Die Ermittlungseinrichtung 1 10 ist funktional mit einer Identifizierungseinrichtung 120 verbunden, die zum Identifizieren von charakteristischen Struktukren des wenigstens einen Objekts vorgesehen ist. Die Identifizierungseinrichtung 120 ist funktional mit einer Zusammenfassungseinrichtung 130 verbunden, welche zum Zusammenfassen der charakteristischen Strukturen zu einer Vereinfachungsstruktur des Objekts vorgesehen ist. Die Zusammenfassungseinrichtung 130 ist funktional mit einer Einfügungseinrichtung 100 verbunden, die zum Einfügen der
Vereinfachungsstruktur in die merkmalbasierte Lokalisierungskarte vorgesehen ist.
Vorteilhaft lässt sich das vorgeschlagene Verfahren als eine Software mit Programmcodemitteln zum Ablaufen auf einer elektronischen Vorrichtung 100 implementieren, wodurch eine leichte Änderbarkeit und Adaptierbarkeit des Verfahrens unterstützt ist.
Fig. 5 zeigt einen prinzipiellen Ablauf einer Ausführungsform des
erfindungsgemäßen Verfahrens.
In einem Schritt 200 wird ein Ermitteln von Daten wenigstens eines Objekts im Umfeld des Fahrzeugs durchgeführt.
In einem Schritt 210 wird ein Identifizieren von charakteristischen Strukturen des wenigstens einen Objekts durchgeführt.
In einem Schritt 220 wird ein Zusammenfassen der charakteristischen Strukturen zu einer Vereinfachungsstruktur des Objekts durchgeführt.
In einem Schritt 230 wird ein Einfügen der Vereinfachungsstruktur in die merkmalbasierte Lokalisierungskarte durchgeführt.
Der Fachmann wird die Merkmale der Erfindung in geeigneter Weise abändern und/oder miteinander kombinieren, ohne vom Kern der Erfindung abzuweichen.

Claims

Ansprüche
1. Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug, aufweisend die Schritte:
Ermitteln von Daten wenigstens eines Objekts im Umfeld des Fahrzeugs; Identifizieren von charakteristischen Strukturen des wenigstens einen Objekts;
Zusammenfassen der charakteristischen Strukturen zu einer
Vereinfachungsstruktur des Objekts; und
Einfügen der Vereinfachungsstruktur in die merkmalbasierte
Lokalisierungskarte.
2. Verfahren nach Anspruch 1 , wobei zum Ermitteln der Daten des wenigstens einen Objekts im Umfeld des Fahrzeugs wenigstens eines aus:
Radarsensor, Ultraschallsensor, Lidarsensor, Kamera verwendet wird.
3. Verfahren nach Anspruch 1 oder 2, wobei zum Identifizieren der
charakteristischen Abschnitte des wenigstens einen Objekts Vorwissen verwendet wird.
4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Karte in definierten Intervallen, bevorzugt nach einer definierten Anzahl von Tagen, noch mehr bevorzugt nach einer definierten Anzahl von Stunden, aktualisiert wird.
5. Verfahren nach einem der vorhergehenden Ansprüche, wobei Daten von Objekten im Umfeld von Fahrzeugen mittels eines crowdsourcing basierten Ansatzes bereitgestellt werden.
6. Vorrichtung (100) zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug, aufweisend:
eine Ermittlungseinrichtung (1 10) zum Ermitteln von Daten wenigstens eines Objekts im Umfeld des Fahrzeugs; eine Identifizierungseinrichtung (120) zum Identifizieren von
charakteristischen Strukturen des wenigstens einen Objekts;
eine Zusammenfassungseinrichtung (130) zum Zusammenfassen der charakteristischen Abschnitte zu einer Vereinfachungsstruktur des Objekts; und
eine Einfügungseinrichtung (140) zum Einfügen der
Vereinfachungsstruktur in die merkmalbasierte Lokalisierungskarte.
7. Computerprogrammprodukt mit Programmcodemitteln zur Durchführung des Verfahrens nach einem der Ansprüche 1 bis 5, wenn es auf einer
Vorrichtung (200) zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug abläuft oder auf einem computerlesbaren Datenträger gespeichert ist.
PCT/EP2018/082122 2017-12-14 2018-11-21 Verfahren zum erstellen einer merkmalbasierten lokalisierungskarte für ein fahrzeug unter berücksichtigung charakteristischer strukturen von objekten WO2019115192A1 (de)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020207020016A KR20200097772A (ko) 2017-12-14 2018-11-21 객체들의 특징적인 구조들을 고려하여 차량을 위한 특징 기반 로컬리제이션 맵을 생성하기 위한 방법
EP18814502.3A EP3724811A1 (de) 2017-12-14 2018-11-21 Verfahren zum erstellen einer merkmalbasierten lokalisierungskarte für ein fahrzeug unter berücksichtigung charakteristischer strukturen von objekten
JP2020532759A JP7427587B2 (ja) 2017-12-14 2018-11-21 物体の特徴的な構造を考慮して車両用の特徴ベースの位置推定マップを生成する方法
CN201880080604.8A CN111480165A (zh) 2017-12-14 2018-11-21 在考虑对象的特征结构的情况下创建用于车辆的基于特征的定位地图的方法
US16/767,764 US11442462B2 (en) 2017-12-14 2018-11-21 Method for creating a feature-based localization map for a vehicle taking into account characteristic structures of objects

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102017222810.5A DE102017222810A1 (de) 2017-12-14 2017-12-14 Verfahren zum Erstellen einer merkmalbasierten Lokalisierungskarte für ein Fahrzeug unter Berücksichtigung charakteristischer Strukturen von Objekten
DE102017222810.5 2017-12-14

Publications (1)

Publication Number Publication Date
WO2019115192A1 true WO2019115192A1 (de) 2019-06-20

Family

ID=64604605

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2018/082122 WO2019115192A1 (de) 2017-12-14 2018-11-21 Verfahren zum erstellen einer merkmalbasierten lokalisierungskarte für ein fahrzeug unter berücksichtigung charakteristischer strukturen von objekten

Country Status (7)

Country Link
US (1) US11442462B2 (de)
EP (1) EP3724811A1 (de)
JP (1) JP7427587B2 (de)
KR (1) KR20200097772A (de)
CN (1) CN111480165A (de)
DE (1) DE102017222810A1 (de)
WO (1) WO2019115192A1 (de)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102019208384A1 (de) * 2019-06-07 2020-12-10 Robert Bosch Gmbh Verfahren zum Erstellen einer universell einsetzbaren Merkmalskarte
DE102019208504A1 (de) * 2019-06-12 2020-12-17 Robert Bosch Gmbh Positionsbestimmung auf der Basis von Umgebungsbeobachtungen

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009133185A1 (de) * 2008-04-30 2009-11-05 Continental Teves Ag & Co. Ohg Selbstlernende karte auf basis von umfeldsensoren
US20140274137A1 (en) * 2011-11-01 2014-09-18 Telefonaktiebolaget L M Ericsson (Publ) Methods and Devices for Providing, Receiving or Managing Maps
US9817399B2 (en) * 2015-02-10 2017-11-14 Mobileye Vision Technologies Ltd. Autonomous vehicle speed calibration

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012172870A1 (ja) 2011-06-14 2012-12-20 日産自動車株式会社 距離計測装置及び環境地図生成装置
DE102013221696A1 (de) * 2013-10-25 2015-04-30 Robert Bosch Gmbh Verfahren und Vorrichtung zum Ermitteln eines Höhenverlaufes einer vor einem Fahrzeug liegenden Straße
JP6325806B2 (ja) 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム
JP6280409B2 (ja) * 2014-03-25 2018-02-14 株式会社日立製作所 自車位置修正方法、ランドマークデータ更新方法、車載機、サーバおよび自車位置データ修正システム
US9803985B2 (en) 2014-12-26 2017-10-31 Here Global B.V. Selecting feature geometries for localization of a device
JP6899368B2 (ja) * 2015-08-03 2021-07-07 トムトム グローバル コンテント ベスローテン フエンノートシャップ ローカライゼーション基準データを生成及び使用する方法及びシステム
DE102015220831A1 (de) * 2015-10-26 2017-04-27 Robert Bosch Gmbh Verfahren und Vorrichtung zum Bestimmen von Landmarken für eine Ortsbestimmung für ein bewegliches Objekt sowie Verfahren und Vorrichtung zur Ortsbestimmung für ein bewegliches Objekt
DE102016221688A1 (de) * 2016-11-04 2018-05-09 Robert Bosch Gmbh Verfahren zum Verorten eines Fahrzeugs
EP3563265B1 (de) * 2016-12-30 2021-06-02 DeepMap Inc. Aktualisierungen von hochauflösenden karten
US10670416B2 (en) * 2016-12-30 2020-06-02 DeepMap Inc. Traffic sign feature creation for high definition maps used for navigating autonomous vehicles

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009133185A1 (de) * 2008-04-30 2009-11-05 Continental Teves Ag & Co. Ohg Selbstlernende karte auf basis von umfeldsensoren
US20140274137A1 (en) * 2011-11-01 2014-09-18 Telefonaktiebolaget L M Ericsson (Publ) Methods and Devices for Providing, Receiving or Managing Maps
US9817399B2 (en) * 2015-02-10 2017-11-14 Mobileye Vision Technologies Ltd. Autonomous vehicle speed calibration

Also Published As

Publication number Publication date
US20200348685A1 (en) 2020-11-05
JP2021507376A (ja) 2021-02-22
JP7427587B2 (ja) 2024-02-05
EP3724811A1 (de) 2020-10-21
DE102017222810A1 (de) 2019-06-19
US11442462B2 (en) 2022-09-13
CN111480165A (zh) 2020-07-31
KR20200097772A (ko) 2020-08-19

Similar Documents

Publication Publication Date Title
DE102010006828B4 (de) Verfahren zur automatischen Erstellung eines Modells der Umgebung eines Fahrzeugs sowie Fahrerassistenzsystem und Fahrzeug
DE102015203016B4 (de) Verfahren und Vorrichtung zur optischen Selbstlokalisation eines Kraftfahrzeugs in einem Umfeld
EP3375683B1 (de) Verfahren zur prädiktion einer topographie-information
DE102018102513A1 (de) Fahrzeugkommunikationssystem und Fahrzeugsteuerungsvorrichtung
DE102019211681B4 (de) Verfahren eines Fahrzeugs zum automatisierten Parken
EP3380810B1 (de) Verfahren, vorrichtung, kartenverwaltungseinrichtung und system zum punktgenauen lokalisieren eines kraftfahrzeugs in einem umfeld
DE102015202859A1 (de) Abtastsystem und -verfahren für autonomes Fahren
EP3616181A1 (de) Verfahren zum automatischen erstellen und aktualisieren eines datensatzes für ein autonomes fahrzeug
DE102012203037A1 (de) Verfahren zur Ermittlung der Geschwindigkeit und/oder Position eines Fahrzeuges
DE102016214470B4 (de) Verfahren und System zum Erfassen eines Verkehrsumfeldes einer mobilen Einheit
DE102015210015A1 (de) Verfahren und Vorrichtung zur Positionsbestimmung eines Fahrzeugs
WO2020016385A1 (de) Verfahren und system zum bestimmen einer position eines fahrzeugs
DE102014111125A1 (de) Verfahren zum Erkennen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mittels eines Ultraschallsensors, Fahrerassistenzsystem sowie Kraftfahrzeug
EP3490862A1 (de) Verfahren und vorrichtung zum ermitteln eines fahrbahnmodells für ein fahrzeugumfeld
EP3577420A1 (de) Verfahren und vorrichtung zur aktualisierung einer digitalen karte
DE102010007091A1 (de) Verfahren zur Positionsermittlung für ein Kraftfahrzeug
DE102017210070A1 (de) Verfahren zum Erstellen einer digitalen Karte für ein automatisiertes Fahrzeug
DE102018214971A1 (de) Verfahren zur Erstellung einer Karte eines Umfelds eines Fahrzeugs
DE102018221054A1 (de) Verfahren zum Bereitstellen von Kartendaten in einem Kraftfahrzeug, Kraftfahrzeug und zentrale Datenverarbeitungseinrichtung
DE102018212219A1 (de) Überprüfen einer geographischen Karte
WO2019115192A1 (de) Verfahren zum erstellen einer merkmalbasierten lokalisierungskarte für ein fahrzeug unter berücksichtigung charakteristischer strukturen von objekten
EP3440433B1 (de) Verfahren zur bestimmung einer pose eines wenigstens teilautomatisiert fahrenden fahrzeugs mittels speziell ausgewählter und von einem backend- server übertragener landmarken
DE102020206134A1 (de) Verfahren zum Betrieb eines Kraftfahrzeugs
WO2019037940A1 (de) Verfahren und vorrichtung zum bestimmen einer hochgenauen position und zum betreiben eines automatisierten fahrzeugs
DE102018117830A1 (de) Digitale Umfeldkarte mit Sensorreichweiten

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18814502

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020532759

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20207020016

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018814502

Country of ref document: EP

Effective date: 20200714