WO2020020654A1 - Method for operating a driver assistance system having two detection devices - Google Patents

Method for operating a driver assistance system having two detection devices Download PDF

Info

Publication number
WO2020020654A1
WO2020020654A1 PCT/EP2019/068710 EP2019068710W WO2020020654A1 WO 2020020654 A1 WO2020020654 A1 WO 2020020654A1 EP 2019068710 W EP2019068710 W EP 2019068710W WO 2020020654 A1 WO2020020654 A1 WO 2020020654A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
detection
detection device
motor vehicle
driver assistance
Prior art date
Application number
PCT/EP2019/068710
Other languages
German (de)
French (fr)
Inventor
Florian Pierre Joseph Piewak
David Peter
Markus Enzweiler
Nick Schneider
Peter Pinggera
Philipp SCHINDLER
Roland Schweiger
Uwe Franke
Manuel Schaefer
David Pfeiffer
Original Assignee
Daimler Ag
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler Ag filed Critical Daimler Ag
Publication of WO2020020654A1 publication Critical patent/WO2020020654A1/en

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/867—Combination of radar systems with cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/86—Combinations of sonar systems with lidar systems; Combinations of sonar systems with systems not using wave reflection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9318—Controlling the steering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9323—Alternative operation using light waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2013/9324—Alternative operation using ultrasonic waves

Definitions

  • the invention relates to a method for operating a driver assistance system of a motor vehicle with a first detection device, with a second
  • Detection device and with a central electronic computing device.
  • a first detection type becomes a first
  • Detection device detects a second piece of information about the environment in a second detection type different from the first detection device and evaluates the first information and the second information by means of the electronic computing device.
  • DE 10 2009 009 047 A1 discloses a method for object detection.
  • object detection two images of an environment are recorded and a disparity image is determined by means of stereo image processing, a depth map of the environment being determined from the ascertained disparities, in which a free space boundary line is identified that delimits an unobstructed area of the environment.
  • the depth map is segmented outside and along the free space boundary line by forming segments of a suitable width from pixels of the same or similar distance to an image plane, with a height of each segment being protected as part of an object outside the unobstructed area, so that each segment is protected by the two-dimensional position of its base and its height is characterized.
  • the object of the present invention is to improve the operation of a
  • One aspect of the invention relates to a method for operating a
  • Driver assistance system of a motor vehicle with a first detection device, with a second detection device and with a central electronic
  • Type of detection acquires a first piece of information about the surroundings of the motor vehicle, and by means of the second detection device, a second piece of information about the surroundings is recorded in a second detection type different from the first detection type, and the first information and the second information are evaluated by means of the electronic computing device.
  • the first information and the second information are merged and the merged information is combined as a function of a decision criterion into a data packet and the data packet is transmitted to the electronic computing device for evaluation.
  • the first information and the second information each raw data of the first detection device and the second
  • Detection device are. This raw data is then merged accordingly. The associated data is then merged, which is also referred to as clustering, depending on the decision criterion.
  • the amount of data is greatly reduced by merging the first information and the second information.
  • a plurality of detection devices for merging or merging are combined, on the one hand to maintain the diversity of the detection devices of the driver assistance system or a highly automated system, which increases the stability of the merging, and on the other hand to further reduce the amount of data.
  • the type of detection is to be understood in particular as how the detection device detects the surroundings.
  • a lidar sensor can use laser beams to record the surroundings.
  • a camera can be used to record the surroundings.
  • Ultrasonic sensor by sending and receiving ultrasonic signals Capture the environment.
  • a radar sensor can detect the surroundings by transmitting and receiving radar signals.
  • the merged information is combined with further information from another sensor of the motor vehicle
  • Detection devices act in order to be able to generate information about, for example, a target object in the surroundings of the motor vehicle. It is also possible that, for example, a point cloud with additional
  • This additional information such as a potential object type and / or a detection probability and / or a surface condition, provides valuable additional information without, however, restricting the level of detail of the data packet as much as is the case with an object interface according to the prior art would. As a result, the driver assistance system can be operated in a data-reduced manner while still being highly functional.
  • the characterizing property can be, for example, a property relating to the
  • the surroundings are used as the first detection device by means of a camera and as the second by means of a lidar sensor
  • Detection device detected This makes it based on two different types of data entry allows to capture the environment. As a result, the surroundings can be reliably detected using different types of detection. It is also possible that, for example, a radar sensor or a as the first and / or second detection device
  • Ultrasonic sensor is provided, by means of which the environment of the
  • Motor vehicle can be detected.
  • the information obtained in each case is then combined using the camera and / or the lidar sensor and forwarded to the electronic computing device as a data packet.
  • the first information and the second information are merged on the basis of a distance of the detected environment from the motor vehicle as a decision criterion, in particular on the basis of a vertical extension.
  • the data are summarized accordingly. For example, an object detection can thereby be carried out reliably since the information relating to the object is fused.
  • the environment for the driver assistance system can be reliably detected in particular by the embodiment with the vertical extension.
  • Driver assistance system carried out an at least partially autonomous, in particular fully autonomous, ferry operation of the motor vehicle.
  • the driver assistance system is in particular a highly automated one
  • the driver assistance system can also be referred to as a driver support system or vehicle guidance system.
  • the surroundings can be recorded in real time, and thus reliably
  • Information regarding the environment can be evaluated in the electronic computing device. In this way, particularly fast response times of the driver assistance system can be realized, which in particular increases safety in road traffic.
  • the single figure shows a schematic view of a motor vehicle with an embodiment of a driver assistance system.
  • the figure shows a motor vehicle 10 with an embodiment of a
  • the driver assistance system 12 has a first
  • Detection device 14 and a second detection device 16 A first piece of information 22 of an environment 18 of the motor vehicle 10 can be recorded by means of the first detection device 14 and a second piece of information 24 of the environment 18 is recorded with the second detection device. Using the first detection device 14, the environment 18 is switched to a first detection type and by means of the second
  • the detection device 16 detects the environment 18 in a second detection mode.
  • the driver assistance system 12 also has a central electronic
  • Computing device 20 by means of which the first information 22 and the second information 24 are evaluated.
  • first information 22 and the second information 24 are merged and the merged information 22, 24 as a function of one
  • Decision criterion are combined into a data packet 26 and the data packet 26 is transmitted to the electronic computing device 20 for evaluation.
  • the first information 22 and the second information 24 are fused by means of a fusion device 28.
  • the first information 22 and the second information 24 are each raw data from the first detection device 14 and the second detection device 16. This raw data is then merged accordingly. The associated data is then merged, which is also referred to as clustering, depending on the decision criterion. The amount of data is greatly reduced by merging the first information 22 and the second information 24. Furthermore, several detection devices 14, 16 for merging or merging, on the one hand to maintain the diversity of the detection devices 14, 16 of the driver assistance system 12 or a highly automated system, which improves the stability of the
  • sensors of the motor vehicle 10 can also be more robust to sensor-specific misconduct. This enables that
  • Driver assistance system 12 overall a higher performance and an increased
  • the type of detection is to be understood in particular as how the detection device 14, 16 detects the surroundings 18.
  • a lidar sensor can detect the surroundings 18 using laser beams as the type of detection.
  • a camera can capture the surroundings 18 by taking pictures.
  • a lidar sensor can detect the surroundings 18 using laser beams as the type of detection.
  • a camera can capture the surroundings 18 by taking pictures.
  • Ultrasonic sensor by sending and receiving ultrasonic signals
  • Capture surroundings 18 For example, a radar sensor can detect the surroundings 18 by transmitting and receiving radar signals.
  • the merged information 22, 24 is combined with further information 30 from a further sensor 32 of the motor vehicle 10 to form the data packet 26 and the data packet 26 is transmitted to the electronic computing device 20 for evaluation.
  • the additional information 30 can be information 22, 24, 30 from surrounding data from a plurality of detection devices 14, 16, in particular sensors, in order to generate information 22, 24, 30 about, for example, a target object in the surroundings 18 of the motor vehicle 10 to be able to. It is also possible that, for example, a point cloud can be generated with additional information.
  • This further information 30, such as a potential object type and / or a
  • Detection probability and / or a surface quality are provided with valuable additional information, but without the level of detail of the To restrict data packets 26 as much as would be the case with an object interface according to the prior art. This can reduce data and still
  • the driver assistance system 12 is operated in a highly functional manner.
  • a characterizing property of the environment 18 is specified by means of the further information 30.
  • the characterizing property can be, for example, a property relating to the nature of a road in the surroundings 18 of the motor vehicle 10 or, for example, the estimated classification of an object
  • This additional information 30 can then in particular be appended to the information 22, 24 that has already been merged and can be passed on to the central electronic computing device 20 by the merged sensor. This enables a potential object type, a
  • Detection probability, a surface condition or the like are also connected to the data packet 26, as a result of which additional information can be made available without restricting the level of detail of the data as much as would be the case with object interfaces according to the prior art.
  • the surroundings 18 are recorded by means of a camera as the first detection device 14 and by means of a lidar sensor as the second detection device 16. It is also possible that the first
  • Detection device 14 and / or the second detection device 16 can be designed as a radar sensor or as an ultrasonic sensor.
  • the first information 22 and the second information 24 are merged on the basis of a distance of the detected environment 18 from the motor vehicle 10 as a decision criterion, in particular on the basis of a vertical extension.
  • the data are summarized accordingly.
  • an object detection can thereby be carried out reliably since the information 22, 24 relating to the object is merged.
  • the environment 18 for the driver assistance system 12 can be reliably detected in particular by the configuration with the vertical extension.
  • the driver assistance system 12 enables at least partially autonomous, in particular fully autonomous, driving operation of the
  • Driver assistance system 12 in particular a highly automated one
  • driver assistance system 12 can also act as a driver assistance system or
  • Vehicle guidance system are called.
  • the surroundings 18 can be detected in particular in real time and thus the information 22, 24, 30 relating to the surroundings 18 can be reliably evaluated in the electronic computing device 20. This allows
  • fast response times of the driver assistance system 12 can be realized, which in particular increases safety in road traffic.
  • the invention shows a method for multimodal vertical clustering of raw data with enriched information from several sensor types.

Abstract

The invention relates to a method for operating a driver assistance system (12) of a motor vehicle (10) having a first detection device (14), a second detection device (16) and a central electronic computing device (20), wherein, by means of the first detection device (14), a first piece of information (22) about an environment (18) of the motor vehicle (10) is detected in a first manner of detection and, by means of the second detection device (16), a second piece of information (24) about the environment (18) is detected in a second manner of detection, which is different from the first manner of detection, and, by means of the electronic computing device (20), the first piece of information (22) and the second piece of information (24) are evaluated, wherein the first piece of information (22) and the second piece of information (24) are merged and the merged pieces of information (22, 24) are combined into a data packet (26), as a function of a decision criterion, and the data packet (26) is transferred to the electronic computing device (20) for evaluation.

Description

Verfahren zum Betreiben eines Fahrerassistenzsystems mit zwei  Method for operating a driver assistance system with two
Erfassungseinrichtungen  detection devices
Die Erfindung betrifft ein Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs mit einer ersten Erfassungseinrichtung, mit einer zweiten The invention relates to a method for operating a driver assistance system of a motor vehicle with a first detection device, with a second
Erfassungseinrichtung und mit einer zentralen elektronischen Recheneinrichtung. Mittels der ersten Erfassungseinrichtung werden auf eine erste Erfassungsart eine erste Detection device and with a central electronic computing device. By means of the first detection device, a first detection type becomes a first
Information einer Umgebung des Kraftfahrzeugs und mittels der zweiten Information about an environment of the motor vehicle and by means of the second
Erfassungseinrichtung auf eine zur ersten Erfassungseinrichtung unterschiedlichen zweiten Erfassungsart eine zweite Information der Umgebung erfasst und mittels der elektronischen Recheneinrichtung die erste Information und die zweite Information ausgewertet. Detection device detects a second piece of information about the environment in a second detection type different from the first detection device and evaluates the first information and the second information by means of the electronic computing device.
Heutige Sensoren für Fahrerassistenzsysteme und hochautomatisierte Systeme nutzen sogenannte Objektschnittstellen als„Interface“ zu dem zentralen entscheidungsfindenden Steuergerät. Bei der Bildung von Objekten wird die Datenmenge bereits im Sensor sehr stark komprimiert, und es werden Annahmen getroffen, um die Bandbreite Today's sensors for driver assistance systems and highly automated systems use so-called object interfaces as an "interface" to the central decision-making control unit. When objects are formed, the amount of data is already very strongly compressed in the sensor, and assumptions are made about the bandwidth
geringzuhalten. Alternativ verwenden Forschungsfahrzeuge reine Rohdaten, das heißt die Bilder von beispielsweise Kameras beziehungsweise jedem Refleximpuls eines Radars oder Lidars, und verarbeiten diese auf sehr rechenstarken Einheiten. Beide Verfahren sind nicht zielführend für eine Weiterverbreitung von automatisierten Fahrzeugen, da sie im ersten Problemfall mit der Performance, insbesondere mit der Leistung, Probleme haben und im zweiten Fall zu große Datenmengen produzieren. Des Weiteren wird für heutigen Fahrerassistenzsysteme und hochautomatisierten Systeme eine Vielzahl an Sensoren verwendet, was ebenfalls bei einem sensoreigenen Zusammenführen der Rohdaten zu einer großen Datenmenge führt. Das sensoreigene Zusammenführen wird auch als Clustering bezeichnet. Das Zusammenführen von Daten ist aus verschiedenen, unabhängigen Messsystemen bekannt. In der Kamera für beispielsweise autonome Anwendungen ist die Bildung von sogenannten Stixein (vertikales Zusammenführen von Daten) bekannt. Dabei beziehen sich bisherige Ansätze des Zusammenführens von Daten auf einen einzelnen Sensor beziehungsweise auf eine einzelne Erfassungseinrichtung. low hold. Alternatively, research vehicles use pure raw data, that is, the images from cameras, for example, or every reflex pulse from a radar or lidar, and process them on very computing-strong units. Neither method is expedient for the further spread of automated vehicles, since in the first case of problems they have problems with performance, in particular with performance, and in the second case they produce too large amounts of data. Furthermore, a large number of sensors are used for today's driver assistance systems and highly automated systems, which also leads to a large amount of data when the raw data is merged by the sensors. The sensor's own merging is also known as clustering. The merging of data is known from various independent measuring systems. The formation of so-called stixein (vertical merging of data) is known in the camera for, for example, autonomous applications. Previous approaches to merging data relate to a single sensor or to a single detection device.
In der wissenschaftlichen Arbeit„Semantic Stixels: Depth is Not Enough“ von Lukas Schneider et al. wird ein semantisches Stixelmodell mit visionsbasiertem Szenemodell vorgestellt, das auf automatisiertes Fahren ausgerichtet ist. Das Modell leitet gemeinsam das geometrische und semantische Layout von einer Szene ab und bietet eine kompakte und doch reiche Abstraktion von beiden mit Stixein als primitive Elemente. Eine geometrische Information ist in diesem Modell in Bezug auf die Pixel-Level-Disparität enthaltenden Karten integriert die aus dem Stereo-Sehen abgeleitet sind. In the scientific work “Semantic Stixels: Depth is Not Enough” by Lukas Schneider et al. a semantic stixel model with a vision-based scene model is presented, which is aimed at automated driving. Together, the model derives the geometric and semantic layout from a scene and offers a compact, yet rich abstraction of both with stixein as primitive elements. Geometric information is integrated in this model in relation to maps containing pixel level disparity which are derived from stereo vision.
Ferner offenbart die DE 10 2009 009 047 A1 ein Verfahren zur Objektdetektion. Bei der Objektdetektion werden jeweils zwei Bilder einer Umgebung aufgenommen und mittels Stereobildverarbeitung ein Disparitätsbild ermittelt, wobei aus den ermittelten Disparitäten eine Tiefenkarte zur Umgebung bestimmt wird, in der eine Freiraumbegrenzungslinie identifiziert wird, die einen hindernisfreien Bereich der Umgebung umgrenzt. Es wird außerhalb und entlang der Freiraumbegrenzungslinie die Tiefenkarte segmentiert, indem Segmente einer geeigneten Breite aus Pixeln gleicher oder ähnlicher Entfernung zu einer Bildebene gebildet werden, wobei eine Höhe jedes Segments als Teil eines außerhalb des hindernisfreien Bereichs befindlichen Objekts geschützt wird, so dass jedes Segment durch die zweidimensionale Position seines Fußpunkts und seine Höhe charakterisiert wird. Furthermore, DE 10 2009 009 047 A1 discloses a method for object detection. During object detection, two images of an environment are recorded and a disparity image is determined by means of stereo image processing, a depth map of the environment being determined from the ascertained disparities, in which a free space boundary line is identified that delimits an unobstructed area of the environment. The depth map is segmented outside and along the free space boundary line by forming segments of a suitable width from pixels of the same or similar distance to an image plane, with a height of each segment being protected as part of an object outside the unobstructed area, so that each segment is protected by the two-dimensional position of its base and its height is characterized.
Aufgabe der vorliegenden Erfindung ist es, einen verbesserten Betrieb eines The object of the present invention is to improve the operation of a
Fahrerassistenzsystems realisieren zu können. To be able to implement driver assistance systems.
Diese Aufgabe wird durch ein Verfahren gemäß dem unabhängigen Patentanspruch gelöst. Vorteilhafte Ausgestaltungsformen sind in den Unteransprüchen angegeben. This object is achieved by a method according to the independent claim. Advantageous embodiments are specified in the subclaims.
Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben eines One aspect of the invention relates to a method for operating a
Fahrerassistenzsystems eines Kraftfahrzeugs mit einer ersten Erfassungseinrichtung, mit einer zweiten Erfassungseinrichtung und mit einer zentralen elektronischen Driver assistance system of a motor vehicle with a first detection device, with a second detection device and with a central electronic
Recheneinrichtung. Mittels der ersten Erfassungseinrichtung wird auf eine erste Computing device. By means of the first detection device, a first
Erfassungsart eine erste Information einer Umgebung des Kraftfahrzeugs erfasst, und mittels der zweiten Erfassungseinrichtung wird auf eine zur ersten Erfassungsart unterschiedlichen zweiten Erfassungsart eine zweite Information der Umgebung erfasst, und mittels der elektronischen Recheneinrichtung werden die erste Information und die zweite Information ausgewertet. Type of detection acquires a first piece of information about the surroundings of the motor vehicle, and by means of the second detection device, a second piece of information about the surroundings is recorded in a second detection type different from the first detection type, and the first information and the second information are evaluated by means of the electronic computing device.
Es ist vorgesehen, dass die erste Information und die zweite Information fusioniert werden und die fusionierten Informationen in Abhängigkeit eines Entscheidungskriteriums zu einem Datenpaket zusammengefasst werden und das Datenpaket zum Auswerten an die elektronische Recheneinrichtung übertragen wird. It is provided that the first information and the second information are merged and the merged information is combined as a function of a decision criterion into a data packet and the data packet is transmitted to the electronic computing device for evaluation.
Insbesondere ist vorgesehen, dass die erste Information und die zweite Information jeweils Rohdaten der ersten Erfassungseinrichtung beziehungsweise der zweiten In particular, it is provided that the first information and the second information each raw data of the first detection device and the second
Erfassungseinrichtung sind. Diese Rohdaten werden dann entsprechend fusioniert. Es erfolgt anschließend ein Zusammenführen, welches auch als Clustering bezeichnet wird, der zusammengehörenden Daten in Abhängigkeit des Entscheidungskriteriums. Durch das Zusammenführen der ersten Information und der zweiten Information wird die Datenmenge stark reduziert. Des Weiteren werden mehrere Erfassungseinrichtungen zum Zusammenführen beziehungsweise zum Fusionieren vereinigt, um auf der einen Seite die Diversität der Erfassungseinrichtungen des Fahrerassistenzsystems oder eines hochautomatisierten Systems beizubehalten, was die Stabilität des Zusammenführens erhöht, und auf der anderen Seite die Datenmenge zusätzlich zu reduzieren. Detection device are. This raw data is then merged accordingly. The associated data is then merged, which is also referred to as clustering, depending on the decision criterion. The amount of data is greatly reduced by merging the first information and the second information. Furthermore, a plurality of detection devices for merging or merging are combined, on the one hand to maintain the diversity of the detection devices of the driver assistance system or a highly automated system, which increases the stability of the merging, and on the other hand to further reduce the amount of data.
Dadurch ist es ermöglicht, dass die zentrale elektronische Recheneinrichtung mit weniger Datengrößen zu arbeiten hat, wobei sie insbesondere gleichzeitig weniger der spezifischen Informationen, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik typischerweise der Fall ist, verliert. Des Weiteren werden die Informationen durch die Verwendung mehrerer Erfassungseinrichtungen, welche insbesondere auch Sensoren des Kraftfahrzeugs sein können, robuster gegenüber sensorspezifischem Fehlverhalten. Dadurch ist es ermöglicht, dass das Fahrerassistenzsystem insgesamt eine höhere Leistung sowie eine erhöhte Robustheit liefern kann bei nur geringfügig erhöhten absoluten Datenmengen durch die Filterung von redundanten Informationen. This makes it possible for the central electronic computing device to work with fewer data sizes, in particular at the same time losing less of the specific information, as is typically the case with an object interface according to the prior art. Furthermore, the use of a plurality of detection devices, which in particular can also be sensors of the motor vehicle, makes the information more robust with respect to sensor-specific misconduct. This makes it possible for the driver assistance system to deliver a higher overall performance and an increased robustness with only slightly increased absolute data quantities by filtering redundant information.
Unter Erfassungsart ist insbesondere zu verstehen, wie die Erfassungseinrichtung die Umgebung erfasst. Beispielsweise kann ein Lidarsensor mittels Laserstrahlen als Erfassungsart die Umgebung erfassen. Beispielsweise kann eine Kamera durch The type of detection is to be understood in particular as how the detection device detects the surroundings. For example, a lidar sensor can use laser beams to record the surroundings. For example, a camera can
Aufnehmen von Bildern die Umgebung erfassen. Beispielsweise kann ein Taking pictures capture the surroundings. For example, a
Ultraschallsensor durch Aussenden und Empfangen von Ultraschallsignalen die Umgebung erfassen. Beispielsweise kann ein Radarsensor durch Aussenden und Empfangen von Radarsignalen die Umgebung erfassen. Ultrasonic sensor by sending and receiving ultrasonic signals Capture the environment. For example, a radar sensor can detect the surroundings by transmitting and receiving radar signals.
Gemäß einer vorteilhaften Ausgestaltungsform werden die fusionierten Informationen mit einer weiteren Information eines weiteren Sensors des Kraftfahrzeugs zu dem According to an advantageous embodiment, the merged information is combined with further information from another sensor of the motor vehicle
Datenpaket zusammengefasst und das Datenpaket zum Auswerten an die elektronische Recheneinrichtung übertragen. Insbesondere kann es sich bei der zusätzlichen Data packet summarized and the data packet transmitted to the electronic computing device for evaluation. In particular, the additional
Information um eine Information von umliegenden Daten mehrerer Information about information from surrounding data of several
Erfassungseinrichtungen, insbesondere Sensoren, handeln, um Informationen über beispielsweise ein Zielobjekt in der Umgebung des Kraftfahrzeugs generieren zu können. Ebenfalls möglich ist, dass beispielsweise eine Punktwolke mit zusätzlichen Detection devices, in particular sensors, act in order to be able to generate information about, for example, a target object in the surroundings of the motor vehicle. It is also possible that, for example, a point cloud with additional
Informationen generiert werden kann. Durch diese weitere Information, wie beispielsweise ein potentieller Objekttyp und/oder eine Detektionswahrscheinlichkeit und/oder eine Oberflächenbeschaffenheit werden wertvolle Zusatzinformationen zur Verfügung gestellt, ohne aber dabei den Detailgrad des Datenpakets so stark einzuschränken, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik der Fall wäre. Dadurch kann datenreduziert und dennoch hochfunktionell das Fahrerassistenzsystem betrieben werden. Information can be generated. This additional information, such as a potential object type and / or a detection probability and / or a surface condition, provides valuable additional information without, however, restricting the level of detail of the data packet as much as is the case with an object interface according to the prior art would. As a result, the driver assistance system can be operated in a data-reduced manner while still being highly functional.
Ebenfalls vorteilhaft ist, wenn mittels der weiteren Information eine charakterisierende Eigenschaft der Umgebung vorgegeben wird. Insbesondere kann es sich beispielsweise bei der charakterisierenden Eigenschaft um eine Eigenschaft bezüglich der It is also advantageous if a characterizing property of the environment is specified by means of the further information. In particular, the characterizing property can be, for example, a property relating to the
Beschaffenheit einer Fahrbahn in der Umgebung des Kraftfahrzeugs handeln oder beispielsweise um die geschätzte Klassifizierung eines Objekts beziehungsweise als Fahrzeug aufgrund der Struktur und Reflexeigenschaften innerhalb der Umgebung des Kraftfahrzeugs. Diese weitere Information kann dann insbesondere den bereits fusionierten Informationen angehängt und entsprechend von dem fusionierten Sensor an die zentrale elektronische Recheneinrichtung weitergegeben werden. Dadurch können ein potentieller Objekttyp, eine Detektionswahrscheinlichkeit, eine Act on the nature of a road in the area surrounding the motor vehicle or, for example, the estimated classification of an object or as a vehicle based on the structure and reflective properties within the area of the motor vehicle. This further information can then in particular be appended to the information which has already been merged and can be forwarded accordingly by the fused sensor to the central electronic computing device. A potential object type, a detection probability, a
Oberflächenbeschaffenheit oder dergleichen mit an das Datenpaket angeschlossen werden, wodurch zusätzliche Informationen zur Verfügung gestellt werden können, ohne dabei den Detailgrad der Daten so stark einzuschränken, wie es bei Objektschnittstellen gemäß dem Stand der Technik der Fall wäre. Surface quality or the like can also be connected to the data packet, as a result of which additional information can be made available without restricting the level of detail of the data as much as would be the case with object interfaces according to the prior art.
In einer vorteilhaften Ausgestaltungsform wird die Umgebung mittels einer Kamera als die erste Erfassungseinrichtung und mittels eines Lidarsensors als die zweite In an advantageous embodiment, the surroundings are used as the first detection device by means of a camera and as the second by means of a lidar sensor
Erfassungseinrichtung erfasst. Dadurch ist es auf zwei unterschiedlichen Erfassungsarten ermöglicht, die Umgebung zu erfassen. Dadurch kann zuverlässig die Umgebung mittels unterschiedlicher Erfassungsarten erfasst werden. Ebenfalls möglich ist, dass als erste und/oder zweite Erfassungseinrichtung beispielsweise ein Radarsensor oder ein Detection device detected. This makes it based on two different types of data entry allows to capture the environment. As a result, the surroundings can be reliably detected using different types of detection. It is also possible that, for example, a radar sensor or a as the first and / or second detection device
Ultraschallsensor bereitgestellt wird, mittels welcher dann die Umgebung des Ultrasonic sensor is provided, by means of which the environment of the
Kraftfahrzeugs erfasst werden kann. Insbesondere werden dann die jeweils gewonnenen Informationen mittels der Kamera und/oder des Lidarsensors zusammengeführt und als Datenpaket an die elektronische Recheneinrichtung weitergesandt. Motor vehicle can be detected. In particular, the information obtained in each case is then combined using the camera and / or the lidar sensor and forwarded to the electronic computing device as a data packet.
Ebenfalls vorteilhaft ist, wenn die erste Information und die zweite Information auf Basis einer Entfernung der erfassten Umgebung zum Kraftfahrzeug als Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden. Mit anderen Worten werden in Abhängigkeit einer Entfernung eines Zielobjekts in der Umgebung des Kraftfahrzeugs die Daten entsprechend zusammengefasst. Beispielsweise kann dadurch zuverlässig eine Objektdetektion durchgeführt werden, da die Informationen das Objekt betreffend fusioniert werden. Insbesondere durch die Ausgestaltungsform mit der vertikalen Ausdehnung kann zuverlässig die Umgebung für das Fahrerassistenzsystem erfasst werden. It is also advantageous if the first information and the second information are merged on the basis of a distance of the detected environment from the motor vehicle as a decision criterion, in particular on the basis of a vertical extension. In other words, depending on the distance of a target object in the surroundings of the motor vehicle, the data are summarized accordingly. For example, an object detection can thereby be carried out reliably since the information relating to the object is fused. The environment for the driver assistance system can be reliably detected in particular by the embodiment with the vertical extension.
Gemäß einer weiteren vorteilhaften Ausgestaltungsform wird mittels des According to a further advantageous embodiment, the
Fahrerassistenzsystems ein zumindest teilweise autonomer, insbesondere vollautonomer, Fährbetrieb des Kraftfahrzeugs durchgeführt. Mit anderen Worten handelt es sich bei dem Fahrerassistenzsystem um ein insbesondere hochautomatisiertes Driver assistance system carried out an at least partially autonomous, in particular fully autonomous, ferry operation of the motor vehicle. In other words, the driver assistance system is in particular a highly automated one
Fahrerassistenzsystem. Das Fahrerassistenzsystem kann im vollautonomen Fährbetrieb auch als Fahrerunterstützungssystem beziehungsweise Fahrzeugführungssystem bezeichnet werden. Insbesondere durch die präzise und zuverlässige Erfassung der Umgebung mittels des Fahrerassistenzsystems und der fusionierten Daten kann insbesondere in Echtzeit die Umgebung erfasst werden und somit zuverlässig die Driver assistance system. In fully autonomous ferry operation, the driver assistance system can also be referred to as a driver support system or vehicle guidance system. In particular, through the precise and reliable detection of the surroundings by means of the driver assistance system and the merged data, the surroundings can be recorded in real time, and thus reliably
Informationen die Umgebung betreffend in der elektronischen Recheneinrichtung ausgewertet werden. Dadurch können insbesondere schnelle Reaktionszeiten des Fahrerassistenzsystems realisiert werden, wodurch insbesondere die Sicherheit im Straßenverkehr erhöht wird. Information regarding the environment can be evaluated in the electronic computing device. In this way, particularly fast response times of the driver assistance system can be realized, which in particular increases safety in road traffic.
Weitere Vorteile, Merkmale und Einzelheiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels sowie anhand der Zeichnung. Die vorstehend in der Beschreibung genannten Merkmale und Further advantages, features and details of the invention result from the following description of a preferred exemplary embodiment and from the drawing. The features mentioned in the description and
Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in der einzigen Figur alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Combinations of features and the features and combinations of features mentioned below in the description of the figures and / or shown alone in the single figure are not only in the specified combination, but also in others
Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Combinations or used alone without leaving the scope of the invention.
Dabei zeigt die einzige Figur eine schematische Ansicht eines Kraftfahrzeugs mit einer Ausführungsform eines Fahrerassistenzsystems. The single figure shows a schematic view of a motor vehicle with an embodiment of a driver assistance system.
In der Figur werden gleiche oder funktionsgleiche Elemente mit den gleichen In the figure, the same or functionally identical elements with the same
Bezugszeichen versehen. Provide reference numerals.
Die Figur zeigt ein Kraftfahrzeug 10 mit einer Ausführungsform eines The figure shows a motor vehicle 10 with an embodiment of a
Fahrerassistenzsystems 12. Das Fahrerassistenzsystem 12 weist eine erste Driver assistance system 12. The driver assistance system 12 has a first
Erfassungseinrichtung 14 und eine zweite Erfassungseinrichtung 16 auf. Mittels der ersten Erfassungseinrichtung 14 kann eine erste Information 22 einer Umgebung 18 des Kraftfahrzeugs 10 erfasst werden und mit der zweiten Erfassungseinrichtung wird eine zweite Information 24 der Umgebung 18 erfasst. Mittels der ersten Erfassungseinrichtung 14 wird die Umgebung 18 auf eine erste Erfassungsart und mittels der zweiten Detection device 14 and a second detection device 16. A first piece of information 22 of an environment 18 of the motor vehicle 10 can be recorded by means of the first detection device 14 and a second piece of information 24 of the environment 18 is recorded with the second detection device. Using the first detection device 14, the environment 18 is switched to a first detection type and by means of the second
Erfassungseinrichtung 16 wird die Umgebung 18 auf eine zweite Erfassungsart erfasst. Das Fahrerassistenzsystem 12 weist ferner eine zentrale elektronische The detection device 16 detects the environment 18 in a second detection mode. The driver assistance system 12 also has a central electronic
Recheneinrichtung 20 auf, mittels welcher die erste Information 22 und die zweite Information 24 ausgewertet werden. Computing device 20, by means of which the first information 22 and the second information 24 are evaluated.
Es ist vorgesehen, dass die erste Information 22 und die zweite Information 24 fusioniert werden und die fusionierten Informationen 22, 24 in Abhängigkeit eines It is provided that the first information 22 and the second information 24 are merged and the merged information 22, 24 as a function of one
Entscheidungskriteriums zu einem Datenpaket 26 zusammengefasst werden und das Datenpaket 26 zum Auswerten an die elektronische Recheneinrichtung 20 übertragen wird. Beispielsweise kann im vorliegenden Ausführungsbeispiel vorgesehen sein, dass mittels einer Fusionseinrichtung 28 die erste Information 22 und die zweite Information 24 fusioniert werden. Decision criterion are combined into a data packet 26 and the data packet 26 is transmitted to the electronic computing device 20 for evaluation. For example, it can be provided in the present exemplary embodiment that the first information 22 and the second information 24 are fused by means of a fusion device 28.
Insbesondere ist vorgesehen, dass die erste Information 22 und die zweite Information 24 jeweils Rohdaten der ersten Erfassungseinrichtung 14 beziehungsweise der zweiten Erfassungseinrichtung 16 sind. Diese Rohdaten werden dann entsprechend fusioniert. Es erfolgt anschließend ein Zusammenführen, welches auch als Clustering bezeichnet wird, der zusammengehörenden Daten in Abhängigkeit des Entscheidungskriteriums. Durch das Zusammenführen der ersten Information 22 und der zweiten Information 24 wird die Datenmenge stark reduziert. Des Weiteren werden mehrere Erfassungseinrichtungen 14, 16 zum Zusammenführen beziehungsweise zum Fusionieren vereinigt, um auf der einen Seite die Diversität der Erfassungseinrichtungen 14, 16 des Fahrerassistenzsystems 12 oder eines hochautomatisierten Systems beizubehalten, was die Stabilität des In particular, it is provided that the first information 22 and the second information 24 are each raw data from the first detection device 14 and the second detection device 16. This raw data is then merged accordingly. The associated data is then merged, which is also referred to as clustering, depending on the decision criterion. The amount of data is greatly reduced by merging the first information 22 and the second information 24. Furthermore, several detection devices 14, 16 for merging or merging, on the one hand to maintain the diversity of the detection devices 14, 16 of the driver assistance system 12 or a highly automated system, which improves the stability of the
Zusammenführens erhöht, und auf der anderen Seite die Datenmenge zusätzlich zu reduzieren. Merging increases, and on the other hand reduce the amount of data additionally.
Dadurch ist es ermöglicht, dass die zentrale elektronische Recheneinrichtung 20 mit weniger Datengrößen zu arbeiten hat, wobei sie insbesondere gleichzeitig weniger der spezifischen Informationen, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik typischerweise der Fall ist, verliert. Des Weiteren werden die Informationen 22, 24 durch die Verwendung mehrerer Erfassungseinrichtungen 14, 16, welche This makes it possible for the central electronic computing device 20 to work with fewer data sizes, in particular at the same time losing less of the specific information, as is typically the case with an object interface according to the prior art. Furthermore, the information 22, 24 through the use of several detection devices 14, 16, which
insbesondere auch Sensoren des Kraftfahrzeugs 10 sein können, robuster gegenüber sensorspezifischem Fehlverhalten. Dadurch ist es ermöglicht, dass das In particular, sensors of the motor vehicle 10 can also be more robust to sensor-specific misconduct. This enables that
Fahrerassistenzsystem 12 insgesamt eine höhere Leistung sowie eine erhöhte Driver assistance system 12 overall a higher performance and an increased
Robustheit liefern kann bei nur geringfügig erhöhten absoluten Datenmengen durch die Filterung von redundanten Informationen. Robustness can deliver with only slightly increased absolute data volumes by filtering redundant information.
Unter Erfassungsart ist insbesondere zu verstehen, wie die Erfassungseinrichtung 14, 16 die Umgebung 18 erfasst. Beispielsweise kann ein Lidarsensor mittels Laserstrahlen als Erfassungsart die Umgebung 18 erfassen. Beispielsweise kann eine Kamera durch Aufnehmen von Bildern die Umgebung 18 erfassen. Beispielsweise kann ein The type of detection is to be understood in particular as how the detection device 14, 16 detects the surroundings 18. For example, a lidar sensor can detect the surroundings 18 using laser beams as the type of detection. For example, a camera can capture the surroundings 18 by taking pictures. For example, a
Ultraschallsensor durch Aussenden und Empfangen von Ultraschallsignalen die Ultrasonic sensor by sending and receiving ultrasonic signals
Umgebung 18 erfassen. Beispielsweise kann ein Radarsensor durch Aussenden und Empfangen von Radarsignalen die Umgebung 18 erfassen. Capture surroundings 18. For example, a radar sensor can detect the surroundings 18 by transmitting and receiving radar signals.
Ferner kann insbesondere vorgesehen sein, dass die fusionierten Informationen 22, 24 mit einer weiteren Information 30 eines weiteren Sensors 32 des Kraftfahrzeugs 10 zu dem Datenpaket 26 zusammengefasst werden und das Datenpaket 26 zum Auswerten an die elektronische Recheneinrichtung 20 übertragen wird. Insbesondere kann es sich bei der zusätzlichen Information 30 um eine Information 22, 24, 30 von umliegenden Daten mehrerer Erfassungseinrichtungen 14, 16, insbesondere Sensoren, handeln, um Informationen 22, 24, 30 über beispielsweise ein Zielobjekt in der Umgebung 18 des Kraftfahrzeugs 10 generieren zu können. Ebenfalls möglich ist, dass beispielsweise eine Punktwolke mit zusätzlichen Informationen generiert werden kann. Durch diese weitere Information 30, wie beispielsweise ein potentieller Objekttyp und/oder eine Furthermore, it can be provided in particular that the merged information 22, 24 is combined with further information 30 from a further sensor 32 of the motor vehicle 10 to form the data packet 26 and the data packet 26 is transmitted to the electronic computing device 20 for evaluation. In particular, the additional information 30 can be information 22, 24, 30 from surrounding data from a plurality of detection devices 14, 16, in particular sensors, in order to generate information 22, 24, 30 about, for example, a target object in the surroundings 18 of the motor vehicle 10 to be able to. It is also possible that, for example, a point cloud can be generated with additional information. This further information 30, such as a potential object type and / or a
Detektionswahrscheinlichkeit und/oder eine Oberflächenbeschaffenheit werden wertvolle Zusatzinformationen zur Verfügung gestellt, ohne aber dabei den Detailgrad des Datenpakets 26 so stark einzuschränken, wie es bei einer Objektschnittstelle gemäß dem Stand der Technik der Fall wäre. Dadurch kann datenreduziert und dennoch Detection probability and / or a surface quality are provided with valuable additional information, but without the level of detail of the To restrict data packets 26 as much as would be the case with an object interface according to the prior art. This can reduce data and still
hochfunktionell das Fahrerassistenzsystem 12 betrieben werden. the driver assistance system 12 is operated in a highly functional manner.
Insbesondere kann vorgesehen sein, dass mittels der weiteren Information 30 eine charakterisierende Eigenschaft der Umgebung 18 vorgegeben wird. Insbesondere kann es sich beispielsweise bei der charakterisierenden Eigenschaft um eine Eigenschaft bezüglich der Beschaffenheit einer Fahrbahn in der Umgebung 18 des Kraftfahrzeugs 10 handeln oder beispielsweise um die geschätzte Klassifizierung eines Objekts In particular, it can be provided that a characterizing property of the environment 18 is specified by means of the further information 30. In particular, the characterizing property can be, for example, a property relating to the nature of a road in the surroundings 18 of the motor vehicle 10 or, for example, the estimated classification of an object
beziehungsweise als Fahrzeug aufgrund der Struktur und Reflexeigenschaften innerhalb der Umgebung 18 des Kraftfahrzeugs 10. Diese weitere Information 30 kann dann insbesondere den bereits fusionierten Informationen 22, 24 angehängt und entsprechend von dem fusionierten Sensor an die zentrale elektronische Recheneinrichtung 20 weitergegeben werden. Dadurch können ein potentieller Objekttyp, eine or as a vehicle due to the structure and reflex properties within the environment 18 of the motor vehicle 10. This additional information 30 can then in particular be appended to the information 22, 24 that has already been merged and can be passed on to the central electronic computing device 20 by the merged sensor. This enables a potential object type, a
Detektionswahrscheinlichkeit, eine Oberflächenbeschaffenheit oder dergleichen mit an das Datenpaket 26 angeschlossen werden, wodurch zusätzliche Informationen zur Verfügung gestellt werden können, ohne dabei den Detailgrad der Daten so stark einzuschränken, wie es bei Objektschnittstellen gemäß dem Stand der Technik der Fall wäre. Detection probability, a surface condition or the like are also connected to the data packet 26, as a result of which additional information can be made available without restricting the level of detail of the data as much as would be the case with object interfaces according to the prior art.
Insbesondere kann weiterhin vorgesehen sein, dass die Umgebung 18 mittels einer Kamera als erste Erfassungseinrichtung 14 und mittels eines Lidarsensors als zweite Erfassungseinrichtung 16 erfasst wird. Ebenfalls möglich ist, dass die erste In particular, it can further be provided that the surroundings 18 are recorded by means of a camera as the first detection device 14 and by means of a lidar sensor as the second detection device 16. It is also possible that the first
Erfassungseinrichtung 14 und/oder die zweite Erfassungseinrichtung 16 als Radarsensor oder als Ultraschallsensor ausgebildet sein kann. Detection device 14 and / or the second detection device 16 can be designed as a radar sensor or as an ultrasonic sensor.
Ferner kann vorgesehen sein, dass die erste Information 22 und die zweite Information 24 auf Basis einer Entfernung der erfassten Umgebung 18 zum Kraftfahrzeug 10 als Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden. Mit anderen Worten werden in Abhängigkeit einer Entfernung eines Zielobjekts in der Umgebung 18 des Kraftfahrzeugs 10 die Daten entsprechend zusammengefasst. Beispielsweise kann dadurch zuverlässig eine Objektdetektion durchgeführt werden, da die Informationen 22, 24 das Objekt betreffend fusioniert werden. Insbesondere durch die Ausgestaltungsform mit der vertikalen Ausdehnung kann zuverlässig die Umgebung 18 für das Fahrerassistenzsystem 12 erfasst werden. Weiterhin kann vorgesehen sein, dass mittels des Fahrerassistenzsystems 12 ein zumindest teilweise autonomer, insbesondere vollautonomer, Fährbetrieb des Furthermore, it can be provided that the first information 22 and the second information 24 are merged on the basis of a distance of the detected environment 18 from the motor vehicle 10 as a decision criterion, in particular on the basis of a vertical extension. In other words, depending on the distance of a target object in the surroundings 18 of the motor vehicle 10, the data are summarized accordingly. For example, an object detection can thereby be carried out reliably since the information 22, 24 relating to the object is merged. The environment 18 for the driver assistance system 12 can be reliably detected in particular by the configuration with the vertical extension. Furthermore, it can be provided that the driver assistance system 12 enables at least partially autonomous, in particular fully autonomous, driving operation of the
Kraftfahrzeugs 10 durchgeführt. Mit anderen Worten handelt es sich bei dem Motor vehicle 10 performed. In other words, it is
Fahrerassistenzsystem 12 um ein insbesondere hochautomatisiertes Driver assistance system 12, in particular a highly automated one
Fahrerassistenzsystem 12. Das Fahrerassistenzsystem 12 kann im vollautonomen Fährbetrieb auch als Fahrerunterstützungssystem beziehungsweise Driver assistance system 12. In fully autonomous ferry operation, driver assistance system 12 can also act as a driver assistance system or
Fahrzeugführungssystem bezeichnet werden. Insbesondere durch die präzise und zuverlässige Erfassung der Umgebung 18 mittels des Fahrerassistenzsystems 12 und der fusionierten Daten kann insbesondere in Echtzeit die Umgebung 18 erfasst werden und somit zuverlässig die Informationen 22, 24, 30 die Umgebung 18 betreffend in der elektronischen Recheneinrichtung 20 ausgewertet werden. Dadurch können Vehicle guidance system are called. In particular, through the precise and reliable detection of the surroundings 18 by means of the driver assistance system 12 and the merged data, the surroundings 18 can be detected in particular in real time and thus the information 22, 24, 30 relating to the surroundings 18 can be reliably evaluated in the electronic computing device 20. This allows
insbesondere schnelle Reaktionszeiten des Fahrerassistenzsystems 12 realisiert werden, wodurch insbesondere die Sicherheit im Straßenverkehr erhöht wird. In particular, fast response times of the driver assistance system 12 can be realized, which in particular increases safety in road traffic.
Insgesamt zeigt die Erfindung ein Verfahren zum multimodalen vertikalen Clustering von Rohdaten mit angereicherten Informationen mehrerer Sensortypen. Overall, the invention shows a method for multimodal vertical clustering of raw data with enriched information from several sensor types.

Claims

Patentansprüche claims
1. Verfahren zum Betreiben eines Fahrerassistenzsystems (12) eines Kraftfahrzeugs (10) mit einer ersten Erfassungseinrichtung (14), mit einer zweiten 1. Method for operating a driver assistance system (12) of a motor vehicle (10) with a first detection device (14), with a second
Erfassungseinrichtung (16) und mit einer zentralen elektronischen  Detection device (16) and with a central electronic
Recheneinrichtung (20), wobei mittels der ersten Erfassungseinrichtung (14) auf eine erste Erfassungsart eine erste Information (22) einer Umgebung (18) des Kraftfahrzeugs (10) und mittels der zweiten Erfassungseinrichtung (16) auf eine zur ersten Erfassungsart unterschiedlichen zweiten Erfassungsart eine zweite  Computing device (20), with the first detection device (14) for a first detection type providing first information (22) of an environment (18) of the motor vehicle (10) and with the second detection device (16) for a second detection type different from the first detection type second
Information (24) der Umgebung (18) erfasst werden und mittels der elektronischen Recheneinrichtung (20) die erste Information (22) und die zweite Information (24) ausgewertet werden,  Information (24) of the environment (18) is recorded and the first information (22) and the second information (24) are evaluated by means of the electronic computing device (20),
dadurch gekennzeichnet, dass  characterized in that
die erste Information (22) und die zweite Information (24) fusioniert werden und die fusionierten Informationen (22, 24) in Abhängigkeit eines Entscheidungskriteriums zu einem Datenpaket (26) zusammengefasst werden und das Datenpaket (26) zum Auswerten an die elektronische Recheneinrichtung (20) übertragen wird.  the first information (22) and the second information (24) are merged and the merged information (22, 24) is combined into a data packet (26) depending on a decision criterion and the data packet (26) for evaluation to the electronic computing device (20 ) is transmitted.
2. Verfahren nach Anspruch 1 , 2. The method according to claim 1,
dadurch gekennzeichnet, dass  characterized in that
die fusionierten Informationen (22, 24) mit einer weiteren Information (30) einer weiteren Sensoreinrichtung (32) des Kraftfahrzeugs (10) zu dem Datenpaket (26) zusammengefasst werden und das Datenpaket (26) zum Auswerten an die elektronische Recheneinrichtung (20) übertragen wird.  the merged information (22, 24) is combined with further information (30) from a further sensor device (32) of the motor vehicle (10) to form the data packet (26) and the data packet (26) is transmitted to the electronic computing device (20) for evaluation becomes.
3. Verfahren nach Anspruch 2, 3. The method according to claim 2,
dadurch gekennzeichnet, dass  characterized in that
mittels der weiteren Information (30) eine charakterisierende Eigenschaft der Umgebung (18) vorgegeben wird. a characterizing property of the environment (18) is specified by means of the further information (30).
4. Verfahren nach einem der vorhergehenden Ansprüche, 4. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die Umgebung (18) mittels einer Kamera als die erste Erfassungseinrichtung (14) und mittels eines Lidarsensors als die zweite Erfassungseinrichtung (16) erfasst wird.  the environment (18) is recorded by means of a camera as the first detection device (14) and by means of a lidar sensor as the second detection device (16).
5. Verfahren nach einem der vorhergehenden Ansprüche, 5. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
die erste Information (22) und die zweite Information (24) auf Basis einer Entfernung der erfassten Umgebung (18) zum Kraftfahrzeug (10) als  the first information (22) and the second information (24) based on a distance of the detected environment (18) to the motor vehicle (10) as
Entscheidungskriterium, insbesondere auf Basis einer vertikalen Ausdehnung, fusioniert werden.  Decision criterion, in particular based on a vertical extension, are merged.
6. Verfahren nach einem der vorhergehenden Ansprüche, 6. The method according to any one of the preceding claims,
dadurch gekennzeichnet, dass  characterized in that
mittels des Fahrerassistenzsystems (12) ein zumindest teilweise autonomer, insbesondere vollautonomer, Fährbetrieb des Kraftfahrzeugs (10) durchgeführt wird.  an at least partially autonomous, in particular fully autonomous, driving operation of the motor vehicle (10) is carried out by means of the driver assistance system (12).
PCT/EP2019/068710 2018-07-27 2019-07-11 Method for operating a driver assistance system having two detection devices WO2020020654A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102018005969.4 2018-07-27
DE102018005969.4A DE102018005969A1 (en) 2018-07-27 2018-07-27 Method for operating a driver assistance system with two detection devices

Publications (1)

Publication Number Publication Date
WO2020020654A1 true WO2020020654A1 (en) 2020-01-30

Family

ID=67262324

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2019/068710 WO2020020654A1 (en) 2018-07-27 2019-07-11 Method for operating a driver assistance system having two detection devices

Country Status (2)

Country Link
DE (1) DE102018005969A1 (en)
WO (1) WO2020020654A1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022108745A1 (en) * 2020-11-23 2022-05-27 Argo AI, LLC Systems and methods for object detection with lidar decorrelation
US11430224B2 (en) 2020-10-23 2022-08-30 Argo AI, LLC Systems and methods for camera-LiDAR fused object detection with segment filtering
US11885886B2 (en) 2020-10-23 2024-01-30 Ford Global Technologies, Llc Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009009047A1 (en) 2009-02-16 2010-08-19 Daimler Ag Method for object detection
US8886394B2 (en) * 2009-12-17 2014-11-11 Bae Systems Plc Producing data describing states of a plurality of targets

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102009009047A1 (en) 2009-02-16 2010-08-19 Daimler Ag Method for object detection
US8886394B2 (en) * 2009-12-17 2014-11-11 Bae Systems Plc Producing data describing states of a plurality of targets

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GROSSMANN P: "MULTISENSOR DATA FUSION", GEC JOURNAL OF RESEARCH, GEC MARCONI RESEARCH CENTER. GREAT BADDOW CHEMSFORD, GB, vol. 15, no. 1, 1 January 1998 (1998-01-01), pages 27 - 37, XP000832810, ISSN: 0264-9187 *
ULLRICH SCHEUNERT ET AL: "Early and Multi Level Fusion for Reliable Automotive Safety Systems", INTELLIGENT VEHICLES SYMPOSIUM, 2007 IEEE, IEEE, PI, 1 June 2007 (2007-06-01), pages 196 - 201, XP031126944, ISBN: 978-1-4244-1067-5 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11430224B2 (en) 2020-10-23 2022-08-30 Argo AI, LLC Systems and methods for camera-LiDAR fused object detection with segment filtering
US11885886B2 (en) 2020-10-23 2024-01-30 Ford Global Technologies, Llc Systems and methods for camera-LiDAR fused object detection with LiDAR-to-image detection matching
WO2022108745A1 (en) * 2020-11-23 2022-05-27 Argo AI, LLC Systems and methods for object detection with lidar decorrelation

Also Published As

Publication number Publication date
DE102018005969A1 (en) 2020-01-30

Similar Documents

Publication Publication Date Title
DE102017203838B4 (en) Process and system for detecting the surroundings
EP2394234B1 (en) Method and device for determining an applicable lane marker
DE602004012962T2 (en) REAL-TIME OBSTACLE DETECTION WITH A CALIBRATED CAMERA AND KNOWN EGO MOTION
DE102018218220A1 (en) Control device for a vehicle
EP2150939B1 (en) Method and device for determining the position of a road sign
DE102015220252A1 (en) Lane keeping assistance system and procedures for this
DE102016219455A1 (en) Motor vehicle, method and active infrastructure for checking an environment detection of a motor vehicle
EP2040220B1 (en) Method for detecting obstacles
EP2033165B1 (en) Method for picking up a traffic space
WO2015032709A1 (en) Method and traffic monitoring unit for establishing that a motor vehicle is driving in the wrong direction
EP3044727B1 (en) Method and device for detecting objects from depth-resolved image data
WO2020020654A1 (en) Method for operating a driver assistance system having two detection devices
DE102016216070A1 (en) Control unit, system with such a control unit and method of operating such a system
DE102018121008A1 (en) CROSS TRAFFIC RECORDING USING CAMERAS
DE102008025773A1 (en) Local and movement conditions estimating method for observed object i.e. vehicle, involves determining distance, detecting shifting of portion of object, and estimating parameter of local and movement condition
DE102016012345A1 (en) Method for recognizing objects
DE202016001002U1 (en) System for detecting a directional road, motor vehicle and computer program product
WO2015090691A1 (en) Method for generating a model of the surroundings of a motor vehicle, driver assistance system and motor vehicle
EP3655299B1 (en) Method and device for determining an optical flow on the basis of an image sequence captured by a camera of a vehicle
DE102018133457A1 (en) Method and system for providing environmental data
DE102017211887A1 (en) Method and device for locating and automated operation of a vehicle
DE102019102672A1 (en) INTERSENSORY LEARNING
DE102019218078B4 (en) Determination of a situation in the environment of a motor vehicle
DE102017100669A1 (en) Method for detecting an environmental region of a motor vehicle with adaptation of a region of interest as a function of a trailer, computing device, camera system and motor vehicle
WO2021180679A1 (en) Determining a current focus area of a camera image on the basis of the position of the vehicle camera on the vehicle and on the basis of a current motion parameter

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19739592

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19739592

Country of ref document: EP

Kind code of ref document: A1